arXiv · ML· Rui Fang, Hsi-Wen Chen, Chia-Ming Cheng, Ming-Syan Chen·· 2026-10-14AI 评分25
LoopQ:循环语言模型的后训练量化框架
LoopQ: Quantization for Looped Language Models
AI 导读
LoopQ 框架针对循环语言模型(LoopLMs)提出后训练量化方案,有效解决分布偏移、状态复用和递归误差累积导致的性能退化。 该框架通过循环感知激活缩放、跨循环状态对齐和轨迹感知校准技术,在 W4A4 量化下实现五任务平均准确率 67.8% 的相对提升,困惑度降低保守估计达 75.2%。
来源:arXiv · ML · arxiv.org