跳到正文
arXiv · ML· Kushagra Bainsla·· 2 天前AI 评分46

在 vLLM 中通过一次性存储 Gemma 4 K=V 缓存实现精确全局 KV 内存节省

Storing the Gemma 4 K=V Cache Once: Exact Global-KV Memory Savings in a Paged Serving Engine with Unchanged Attention Kernels

AI 导读

Gemma 4 31B 模型通过单次存储 640 值行替代完整的 key/value 缓存,在 vLLM 原型中使稳态解码 KV 内存降低 1.34 至 1.40 倍。

来源:arXiv · ML · arxiv.org