arXiv · ML· Yan Scholten, Rachel Lawrence, James Hensman, Stephan G\"unnemann, Alicia Curth, Riccardo Grazzi·· 2026-10-07AI 评分31
**title_zh**: 激活去噪:从鲁棒性视角重新审视并行与顺序 LLM 量化
Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization
AI 导读
**summary_zh**: 研究人员提出激活去噪(activation denoising)方法,解决 LLM 量化中并行法误差累积的问题,在单次并行遍历中恢复顺序量化的大部分优势,时间成本仅为其几分之一。 该方法将上游误差建模为噪声,通过预处理与指标加权舍入施加鲁棒性正则化,形成随深度复合的光滑惩罚项以抑制误差放大,且与正交旋转的效果可叠加增强。
来源:arXiv · ML · arxiv.org