跳到正文
arXiv · ML· Junyoung Park, Jungwook Choi, Mingu Lee·· 2026-10-07AI 评分33

ValueDiff:面向抑制注意力池化 LLM 的值几何 KV 缓存驱逐方法

ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs

AI 导读

针对 QK 归一化等导致注意力池化较弱的 LLM,ValueDiff 提出一种基于值向量 L2 偏差的值几何驱逐方法。 在 2k 预算下 RULER 基准测试中,ValueDiff 在 7 个模型中保留了 88-99% 的稠密性能,其中 6 个模型表现最佳;在 4k 预算下 LongBench 平均保留率为 92%,优于最强基线的 83%。

来源:arXiv · ML · arxiv.org