跳到正文
arXiv · ML· Dong Liu, Yanxuan Yu, Eric Jiang, Shu Wang, Ying Nian Wu·· 29 天前AI 评分26

分离式 LLM 服务中 KV 缓存保留策略 KVLearn 框架

To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems

AI 导读

KVLearn 框架通过前缀重用预测器(PRP)、成本感知保留分数(CARS)和自适应阈值控制器(ATC)优化分离式 LLM 服务中的 KV 缓存保留决策,显著降低首 token 时间。 在文本和多模态工作负载中,KVLearn 相比 No-Cache 降低端到端首 token 时间最高达 56%,相比 LRU-Pool 减少 38%,并将节点间 KV 传输量降低最高 53%。代码已开源。

来源:arXiv · ML · arxiv.org