arXiv · ML· Jack Cai, Lijie Yang, Vasilis Kontonis, Dimitris Papailiopoulos, Shivam Garg·· 2026-10-16AI 评分30
AbridgeKV 通过压缩长推理至 KV 缓存提升效率
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AI 导读
AbridgeKV 将生成的长链思维压缩至少量学习到的暂停 token 的 KV 条目中,取代原始缓存。 在 AIME 等 446 道竞赛题上,保留 1/4 生成缓存的 AbridgeKV 在准确率和输出长度上与全 KV 模型相当;在 vLLM 部署中,序列缓存缩小 3.5 倍,H100 完成任务速度提升 3.2 倍。
来源:arXiv · ML · arxiv.org