跳到正文
arXiv · ML· Shiyu Ji, Peng Ling, Chen Lin, Shupeng Li, Yixuan Wang, Qingfu Zhu, Wanxiang Che·· 2026-10-16AI 评分30

RoLaQ: 面向多头隐注意力中 2-Bit KV 缓存的联合旋转与量程校准

RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

AI 导读

summary_zh: RoLaQ 提出一种离线方法,通过联合旋转与量程校准优化 MLA 中 2-bit KV 缓存的量化精度。 在 DeepSeek-V2-Lite 模型上,其 SGLang 实现同等内存下 KV 容量达 BF16 的 3.96 倍,256K 输入时解码吞吐量提升 2.51 倍。

来源:arXiv · ML · arxiv.org