arXiv · ML· Yifei Wang, Tsun-yu Yang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen·· 7 天前AI 评分28
MARS:GPU 内存受限下实现高工作流吞吐和低 KV 缓存抖动的智能体服务系统
MARS: Towards High Goodput and Low KV Thrashing in Agent Serving under GPU Memory Constraints
AI 导读
MARS 提出协调工作流准入控制与引擎内调度的智能体服务系统,旨在解决 GPU 内存受限下多轮工作流因 KV 缓存复用导致的反复驱逐(抖动)问题,实现高工作流级 goodput。 在两个模型和三种 GPU 配置上,MARS 相比最快基线实现了 1.59x-7.56x 的平均端到端延迟加速,并作为 OpenCode、Codex 等后端将工作流完成时间提升了 1.17x-1.87x。 开源代码已公开。
来源:arXiv · ML · arxiv.org