arXiv · ML· Bruce Changlong Xu, Adarsh Kumarappan, Mu Zhou·· 23 小时前AI 评分41
KV 缓存量化下的对齐崩塌：诊断与缓解
Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation
AI 导读
KV 缓存量化在降低显存的同时可能破坏 LLM 的安全对齐，Mistral-7B 在仅 1.03 倍困惑度损失下失去 15.2% 拒绝能力。 研究提出 Per-Channel Reduction 诊断方法，揭示了安全特征在低维激活子空间中易受量化噪声影响的几何根源。 该无训练协议只需约 35 GPU 分钟，即可在 vLLM 生产环境中恢复高达 97% 的丢失对齐。
来源：arXiv · ML · arxiv.org