跳到正文
arXiv · ML· Weizhong Huang, Jinchao Zhang, Xiawu Zheng·· 12 小时前AI 评分35

CommitKV:多模态智能体的提交对齐 KV 缓存压缩

CommitKV: Commit-Aligned KV Cache Compression for Multimodal Agents

AI 导读

无训练 CommitKV 方法在四个开源多模态模型上实现最高平均准确率。在 Qwen3-VL-8B 上,256-token 预算比最强基线高 8.44%,512-token 准确率 69.85% 仅低于 FullKV 0.91%。 SGLang 与 vLLM 部署时,峰值 GPU 显存降低 54.37%–55.23%,端到端推理加速 2.12–2.17 倍。

来源:arXiv · ML · arxiv.org