跳到正文
arXiv · NLP· Taiga Ikeda, Daisuke Miyashita, Jun Deguchi·· 2026-10-12AI 评分28

KV-Repurpose: 面向非前缀 KV 缓存复用的测试平台

KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse

AI 导读

KV-Repurpose 是一个基于 vLLM 的开源系统,用于评估超越精确前缀的分段式 KV 缓存复用。 在 Zipfian RAG 负载下,当 20% 请求共享固定前缀且缓存容量为 30 GB 时,KV-Repurpose 的 token 级缓存命中率达 63.9%,远高于前缀缓存的 3.3%,从而降低了 TTFT。

来源:arXiv · NLP · arxiv.org