arXiv · ML· Yuhang Jiang·· 2026-10-14AI 评分28
线性注意力与SSM LLM中循环状态量化失败的尺度-状态反馈机制
When Dynamic Scaling Fails: A Scale-State Feedback Governs Recurrent-State Quantization in Linear-Attention and SSM LLMs
AI 导读
循环状态量化中量化器尺度与状态的反馈导致误差累积,INT4在千步后使合成召回完全失效。 将尺度绑定至全精度参考可消除范数爆炸,但仅恢复5.4 nats损失中的1.8 nats;异常值感知方案劣于持久缩放。 该研究发表于NeurIPS 2026 Long-Context Workshop,指出32K解码下分组INT4效果等同于丢弃状态。
来源:arXiv · ML · arxiv.org