跳到正文
arXiv · ML· Shivam Gupta·· 2026-10-05AI 评分36

前缀缓存语言模型服务中精确的内存-时间优化:PCR方法

Exact Memory-Time Optimization for Prefix-Cached Language Model Serving

AI 导读

研究提出前缀证书保留(PCR)方法,解决前缀缓存服务中独立优化缓存块导致的高估问题。PCR将可用的前缀奖励建模为节点,通过最大权闭包转化为单次最小割问题,其图规模与块查找数和超时选择数呈线性关系。在39,632个公开Mooncake请求的时间重放测试中,有序超时在120个固定网格的分组定价案例中,有118个达到了无限制训练的最优值。

来源:arXiv · ML · arxiv.org