arXiv · ML· Kushagra Bainsla·· 2 天前AI 评分46
在 vLLM 中通过一次性存储 Gemma 4 K=V 缓存实现精确全局 KV 内存节省
Storing the Gemma 4 K=V Cache Once: Exact Global-KV Memory Savings in a Paged Serving Engine with Unchanged Attention Kernels
AI 导读
Gemma 4 31B 模型通过单次存储 640 值行替代完整的 key/value 缓存,在 vLLM 原型中使稳态解码 KV 内存降低 1.34 至 1.40 倍。
来源:arXiv · ML · arxiv.org