跳到正文
arXiv · AI· Han Yu, Wenhui Zhu, Xiwen Chen, Zhipeng Wang, Hejian Sang, Han Shi, Menglin Zhou, Xuanzhao Dong, Minzhou Huang, Rui Cai, Hao Wang, Alborz Geramifard·· 2026-10-05AI 评分33

AvoKV-E:针对长推理的任务感知 KV 缓存驱逐策略

AvoKV-E: Payload-Aware KV Cache Eviction for Long Reasoning

AI 导读

研究提出 AvoKV-E,一种无需训练的长推理 KV 缓存驱逐策略。该策略通过延迟近期状态的可驱逐资格,并结合候选归一化读压力、键冗余度和价值负载潜力对条目进行排序。实证评估显示,在相等的活跃 KV 预算下,AvoKV-E 性能匹配或超越现有基线,且在紧缓存场景下增益最大。

来源:arXiv · AI · arxiv.org