arXiv · AI· Devanshu Jha, Gaurav Kumar, Agniva Chowdhury, Kumar Krishna Agrawal, Aditya Desai·· 10 天前AI 评分26
VerKV:基于 PoissonComp 的可靠 KV Cache 压缩方法
Verify Before You Fetch: Reliable KV Cache Compression for LLM Inference
AI 导读
VerKV 采用混合架构实现 LLM 推理中的 KV Cache 压缩,结合 PoissonComp 采样与 KVFetch 算法,提供注意力计算的 $(\epsilon, \delta)$ 误差保证。 在 Qwen3-4B 等模型上,该方法将 GPU 内存占用降低 8-32 倍,CPU-to-GPU 数据传输量控制在 2-23%,同时保持 90-100% 的密集计算质量。
来源:arXiv · AI · arxiv.org