跳到正文
arXiv · ML· Daijin Hu·· 2026-10-15AI 评分24

JointServe:内存受限 GPU 上的多模型 Agent 服务系统

JointServe: Serving Multi-Model Agents on Memory-Constrained GPUs

AI 导读

summary_zh: JointServe 提出统一内存预算管理权重分片与 KV 块,解决多模型 Agent 在内存受限 GPU 上的切换瓶颈。 该利用意图信号预取与增量层驻留,将 SWE-bench 等基准会话完成时间最多降低 49%,SLO 达成率从 2.8% 升至 100%。

来源:arXiv · ML · arxiv.org