跳到正文
arXiv · ML· Heejun Kim, Junyoung Lee, SangLyul Cho, Dongsu Han, Insu Han, Sehoon Kim·· 2026-10-08AI 评分33

ResidualQuant:循环 Transformer 中采用 2-Bit 残差的 KV Cache 量化方法

ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals

AI 导读

ResidualQuant 通过 2-Bit 残差量化显著降低循环 Transformer 的 KV cache 内存占用。该方法以最终循环 KV 状态为参考,结合最小二乘缩放、旋转及循环级混合精度实现高精度量化。

来源:arXiv · ML · arxiv.org