arXiv · ML· Yi Pan, Haocheng Xi, Kan Zhu, Xingyang Li, Yibo Wu, Mayank Mishra, Hongtao Zhang, William X. Zheng, Baris Kasikci, Song Han, Kurt Keutzer, Rishabh Iyer, Ion Stoica·· 9 天前AI 评分27
LeapQuant:实现线性注意力高效推理的循环状态量化方法
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
AI 导读
LeapQuant提出免训练方法,在8位循环状态量化下实现近无损性能。 采用每窗口量化缓解误差积累,保留最高异常值作为高精度补偿令牌,并对剩余残差进行平滑处理。 在Qwen、Kimi和GLM模型系列上,相比FP32基线精度相当,内核级平均加速2.05-3.70倍,端到端推理加速1.47倍。
来源:arXiv · ML · arxiv.org