arXiv · ML· Weizhong Huang, Jinchao Zhang, Xiawu Zheng·· 10 天前AI 评分23
CoMixKV:面向 LLM 多智能体系统的协同混合精度 KV Cache 量化框架
Coordinated Mixed-Precision KV Cache Quantization for Efficient LLM-based Multi-agent Systems
AI 导读
CoMixKV 提出协同混合精度 KV Cache 量化方案,通过在线敏感度估计与联合位宽分配,在共享内存预算下优化 LLM 多智能体系统的内存瓶颈。该框架无需校准数据或额外模型推理路径,利用局部注意力误差界计算敏感度,动态调整新量化块的位宽。在 Qwen3-32B 上实现 1.38x 推理加速,峰值内存降低 32.08%,显著优于全精度 KV Cache 基线。
来源:arXiv · ML · arxiv.org