arXiv · AI· Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang·· 8 小时前AI 评分28
CompilerKV：通过离线经验编译实现风险自适应 KV 压缩
CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation
AI 导读
CompilerKV 通过离线编译校正表，将在线 KV 压缩决策简化为 O(1) 查找，在 512-token 预算下于四个基座模型上实现 SOTA。 该策略提升了跨提示词的统计规律性，平均比最强 prefill-only 基线高 1.67 分；在 128k RULER 基准上得分约为 73，优于 SnapKV 的 38 分。
来源：arXiv · AI · arxiv.org