跳到正文
arXiv · NLP· Doo Hwan Hwang, Junyoung Jang, Junho Na, Hosung Lim, Kee-Eung Kim·· 2026-10-06AI 评分36

提出行为保持 KV 缓存压缩框架以优化长上下文推理

Behavior-Preserving KV Cache Compression

AI 导读

研究提出 Behavior-Preserving KV Cache Compression 无训练框架,通过估算移除候选条目后的 logits 并计算与全缓存分布的 KL 散度来决定保留项。该框架在匹配保留 KV 预算下提升下游任务质量,尤其在激进压缩场景效果显著,且保持端到端推理加速。

来源:arXiv · NLP · arxiv.org