arXiv · NLP· Jang-Hyun Kim, Dongyoon Han, Sangdoo Yun·2026-10-27 12:00· 4 小时前AI 评分32

Fast KVzip：利用门控 KV 缓存驱逐实现高效且精准的 LLM 推理

Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction

AI 导读

研究团队提出一种基于门控的 KV 缓存驱逐方法 Fast KVzip，可将 KV 缓存压缩 70% 且保持近无损性能。该方法引入轻量级 sink-attention 门控模块，仅依赖前向传播训练，无需反向传播，并适用于冻结权重的 LLM。

来源：arXiv · NLP · arxiv.org