跳到正文
arXiv · AI· Bingchen Yao, Haobo Xu, Haokun Lin, Yichen Wu, Ziyu Guo, Renrui Zhang, Zhichao Lu, Zhenan Sun, Ying Wei·· 17 小时前AI 评分21

STEPQuant:Delta 规则循环状态量化中误差的重要性分析

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

AI 导读

针对线性注意力模型中循环状态量化易致精度下降的问题,作者提出时空后训练量化框架 STEPQuant。 该框架根据误差幅度和记忆寿命动态分配精度,在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上验证有效。 6-bit 配置下精度匹配 FP32,集成至 SGLang 后实现 5 倍状态压缩,服务内存降低 68.7%。

来源:arXiv · AI · arxiv.org