跳到正文
热点事件持续更新

FrontierReplay实现无分割精确前缀缓存

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

Zekun Wang等人在arXiv发表论文,发布名为FrontierReplay的前缀缓存系统,旨在解决混合语言模型中前缀复用优化不足的问题。该系统提出一种无分割(no-cutting)的精确前缀缓存方法,通过记录循环层输入并调用重放内核构建目标状态。 据论文称,相比现有的精确缓存方案,FrontierReplay可显著降低中位首字时间(TTFT),降幅在16%至89%之间,最高可达8.9倍。同时,其构建目标状态的成本比全量重算低6至37倍。 在性能提升方面,FrontierReplay在80%的SLO容量上可实现最高1.73倍的提升,其有效吞吐量(goodput)最高提升4.26倍,展示了在降低延迟与提升吞吐量方面的优势。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · ML
    FrontierReplay: 混合语言模型的无分割精确前缀缓存

    FrontierReplay 提出一种无分割精确前缀缓存系统,针对混合语言模型优化前缀复用,将中位首字时间(TTFT)降低 16-89%(最高 8.9 倍)。 该系统通过记录循环层输入并调用重放内核,构建目标状态的成本比全量重算低 6-37 倍;在 80% SLO 容量上提升高达 1.73 倍,有效吞吐量(goodput)最高提升 4.26 倍。

本事件热度走势

可比范围当前
6
可比范围峰值
911月20日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。