arXiv · AI· Chi Ruan, Yujie Chen, Zixiang Zhao, Jingcai Guo, Haotong Qin·· 2026-10-14AI 评分34
RECAP 校准低比特推理模型:基于其读取的历史上下文
RECAP: Calibrating Low-Bit Reasoning Models on the History They Read
AI 导读
RECAP 提出一种后训练量化方法,通过在校准时利用模型读取的历史上下文校准推理模型,以缓解低比特量化对长思维链的降级。 该方法结合动态前缀校准与前缀读取几何,在 W4A4KV4 设置下,将 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上的准确率提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。
来源:arXiv · AI · arxiv.org