跳到正文
arXiv · ML· Alexandra Volkova, Matin Ansaripour, Erik Schultheis, Christoph H. Lampert, Dan Alistarh·· 2026-10-08AI 评分25

Q-PACE:面向量化感知训练的动态精度分配方法

Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training

AI 导读

Q-PACE 通过二阶敏感性模型预测量化噪声损失,并在训练中周期性重算系数以重新分配精度。 该方法基于每层曲率系数加权量化噪声均方误差,在最高 4B 参数的大语言模型预训练和微调实验中,以更低的内存预算实现了与现有混合精度训练相当的损失。

来源:arXiv · ML · arxiv.org