跳到正文
arXiv · ML· Jack Shi, Jerry Gu·· 23 小时前AI 评分25

Trust the Mass: 揭示 KV-Cache 驱逐中的强制权重与 ContourKV 方法

Trust the Mass: Forced Weights in KV-Cache Eviction

AI 导读

研究发现保留最大 KV-Cache 权重已近最优,最佳子集仅比全注意力低 2%-5%。 现有非均匀预算方法因计算重要性时包含问题上下文,导致基准分数降低 14-62 点,检索准确率受影响达 87.6 分。 提出的无训练方法 ContourKV 在 RULER 和 LongBench 测试中表现优于基线,内存占用减少 28 至 1078 倍。

来源:arXiv · ML · arxiv.org