CacheWeave发布位置无关KV缓存重计算方法

2026年11月3日，Yueyang Pan 等人在 arXiv 上发布 CacheWeave 方法，提出一种原生块选择器，用于实现高效的位置无关 KV 缓存重计算。该方法在仅使用 5% 重算预算的条件下，平均准确率较 CacheBlend 高 7.2 个百分点，较 ProphetKV 高 3.5 个百分点，且相对于完整预填，平均相对精度损失仅为 1.6%，有效缓解了独立编码导致的精度损失，并支持混合注意力模型。 配套的运行时系统 CacheWeave-Serve 基于 32-token 块进行服务优化，可将单请求 TTFT（Time To First Token）最高降低 16.1 倍（相较于完整预填）和 1.7 倍（相较于 ProphetKV），并在负载条件下将 SLO goodput 最高提升 7.8 倍，显著提升了推理服务的吞吐效率与响应性能。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。