PeekKV论文提出动态KV缓存压缩法

2026年10月8日，研究者Minyoung Go在arXiv发布论文《PeekKV：基于内容token动态分配KV缓存预算》（v1）。该工作旨在解决大语言模型（LLM）服务中的内存瓶颈问题。 PeekKV方法的核心是在预填充阶段观察单个内容token获取分数，从而动态分配KV缓存预算。与以往方法不同，该方案无需进行离线剖析或模型训练，因此能够支持未见的工作负载，具备较强的泛化能力。 在性能测试方面，基于Llama-3.1-8B-Instruct模型的评估显示，在10%内存预算下，RULER准确率保留了95.7%；在1.5%预算下，LongBench准确率保留了95.9%。报道指出，该方法在多项基准测试中优于现有方法，可显著降低LLM服务的内存占用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。