跳到正文
arXiv · NLP· Zhe Wang, Jiakai Li, Yujia Sun, Rongzheng Wang, Shuang Liang·· 2026-10-06AI 评分28

DeferKV:重新思考单次 KV Cache 压缩的驱逐时机

DeferKV: Rethinking Eviction Timing for One-Shot KV Cache Compression

AI 导读

DeferKV 将 KV 缓存驱逐决策从预填充阶段移至首个解码步骤,结合提示词与解码侧观察以优化重要性估计。该方法无需额外训练、草稿模型或未来查询预测模块,部署简单且保持低推理延迟。实验显示,DeferKV 在 LongBench、RULER 和 Needle-in-a-Haystack 基准测试中一致提升了压缩下的模型性能。

来源:arXiv · NLP · arxiv.org