arXiv · AI· Linfeng Dong·· 2026-10-08AI 评分36
KVFetch:基于时序预取缺失的 KV 缓存压缩方法
KVFetch: Temporal Prefetching for the Missing Half of KV Cache Compression
AI 导读
KVFetch 是一种无需训练的即插即用框架,通过时序召回通道解决基于内容的相关性驱逐导致的顺序遗忘问题,恢复模型逐字复制能力。 该框架将驱逐候选降级至量化冷层,并通过单调读取指针检测活跃复制,将位置后继预取至固定大小的热层槽位,不增加注意力成本。 在 RULER-16K 的同预算控制下,KVFetch 将逐字复制指标从 0.8 恢复至 78.4,13 项任务平均分提升 8.4。
来源:arXiv · AI · arxiv.org