跳到正文
arXiv · ML· Le Su, Xing Luo, Zhi Jin·· 10 天前AI 评分25

MARR:面向低位数训练后量化的模块自适应残差重建

MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

AI 导读

MARR 提出模块自适应残差重建策略,通过 PID 控制器调整模块特定缩放系数,在低位数(≤4-bit)训练后量化中平衡误差修正与 Hessian 近似偏差。实验表明,该策略使 LLM 困惑度降低最多 20.2%,ViT 准确率提升最多 4.6%。

来源:arXiv · ML · arxiv.org