跳到正文
arXiv · NLP· Dezhen Lu, Zixiang Ni·· 10 天前AI 评分25

二阶线性响应预测量化误差的可靠性:基于五个大语言模型的预注册测量

How Far Does Second-Order Linear Response Predict Quantization Mismatch? Pre-Registered Measurements on Five Language Models

AI 导读

研究在五个模型上验证,二阶线性响应在16倍扰动范围内相对预测准确,但绝对预测呈重尾分布。Qwen3-4B等模型经修正后92%的预测误差在15%以内,而MoE模型在小扰动下呈现非二次响应,int8 KL散度以$\alpha^{0.63}$缩放。bf16梯度计算导致的四倍误差通过反向传播使用fp32消除,0.17-0.22 nats的归约误差下限限制了批量不变内核的精度。

来源:arXiv · NLP · arxiv.org