跳到正文
arXiv · ML· Zekun Wang, Yizhuo Wang·· 16 小时前AI 评分33

FrontierReplay: 混合语言模型的无分割精确前缀缓存

FrontierReplay: Split-Free Exact Prefix Caching for Hybrid Language Models

AI 导读

FrontierReplay 提出一种无分割精确前缀缓存系统,针对混合语言模型优化前缀复用,将中位首字时间(TTFT)降低 16-89%(最高 8.9 倍)。 该系统通过记录循环层输入并调用重放内核,构建目标状态的成本比全量重算低 6-37 倍;在 80% SLO 容量上提升高达 1.73 倍,有效吞吐量(goodput)最高提升 4.26 倍。

来源:arXiv · ML · arxiv.org