跳到正文
arXiv · ML· Hyesung Jeon, Hyeongju Ha, Seoyoung Lee, Beomseok Kang, Jae-Joon Kim·· 2026-10-07AI 评分37

KVCMAS: 面向多智能体共享上下文的低成本 KV Cache 纠偏框架

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

AI 导读

summary_zh: KVCMAS 提出在线 KV Cache 纠偏框架,通过低秩状态建模多智能体跨缓存偏差,消除额外参考预填充开销。 该框架在多种语言与视觉语言负载中匹配或提升精度,并发服务下 TTFT 最低;相比无共享推理提升 2.0 倍,峰值 GPU 内存较前代方法减少 3.7 倍。

来源:arXiv · ML · arxiv.org