跳到正文
arXiv · ML· Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu·· 7 天前AI 评分29

OSCAR:面向 2-bit KV Cache 量化的离线谱感知旋转方法

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

AI 导读

OSCAR 提出离线估计注意力感知协方差目标,推导固定逐层旋转与裁剪阈值,在 2-bit 精度下保持注意力保真度。 在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上,OSCAR 将 BF16 精度差距分别缩小至 3.78 和 1.21 分,在 Qwen3-32B 和 GLM-4.7(358B 参数)上达到 BF16 水平。

来源:arXiv · ML · arxiv.org