arXiv · ML· Yueyang Pan, Qianchao Zhu, Yuliang Liu, Teng Ma, Sanidhya Kashyap·· 15 小时前AI 评分23
CacheWeave 通过原生块选择器实现高效的位置无关 KV 缓存
CacheWeave: Learning to Recompute for Efficient Position-Independent KV Caching
AI 导读
CacheWeave 提出原生块选择器，在 5% 重算预算下平均准确率超 CacheBlend 7.2 个点。 其运行时 CacheWeave-Serve 将单请求 TTFT 最高降低 16.1 倍，负载下 SLO goodput 提升 7.8 倍。 该方案有效缓解了独立编码导致的精度损失，支持混合注意力模型。
来源：arXiv · ML · arxiv.org