arXiv · ML· Minyoung Go, Yongjun Park·· 6 小时前AI 评分23
PeekKV：基于内容 token 动态分配 KV 缓存预算
PeekKV: The First Content Token Already Knows Which Heads Matter
AI 导读
PeekKV 通过预填充后观察单个内容 token 获取分数，动态分配 KV 缓存预算。 该方法无需离线剖析或训练，支持未见工作负载。在 Llama-3.1-8B-Instruct 上，10% 内存预算下 RULER 准确率保留 95.7%，1.5% 预算下 LongBench 保留 95.9%。 其在多项基准测试中优于现有方法，显著降低 LLM 服务内存瓶颈。
来源：arXiv · ML · arxiv.org