量化效果问题咨询

[wht1712]

您好，我可能对量化这方面的工作还不是很了解，我对您的这个工作有一个简单的疑问。请问为什么您展示的量化后的模型会超过原始全精度模型的指标呢？期待您的回复。

[YanjingLi0202]

您好，我可能对量化这方面的工作还不是很了解，我对您的这个工作有一个简单的疑问。请问为什么您展示的量化后的模型会超过原始全精度模型的指标呢？期待您的回复。

量化模型的训练load了pretrained全精度模型，之后再次训练300回合。可以粗略地认为量化模型训练了600回合（2x），所以有可能会超过全精度的效果。

[flymmmfly]

这个解释未免太过牵强了

[charliezjw]

这种现象很常见。除了作者所讲述的原因，quantization也起到了regularization的作用。原网络可能overfitting了，所以quantization之后的accuracy会上升一些。