arXiv · ML· Yiyu Liu, Minlan Yu, Juncheng Yang·· 10 天前AI 评分41
LLM前缀缓存淘汰策略重探:复杂算法失效与LRU的稳健性
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
AI 导读
针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。
来源:arXiv · ML · arxiv.org