arXiv · ML· Kyungmin Bin, Seungbeom Choi, Jimyoung Son, Jieun Choi, Daseul Bae, Daehyeon Baek, Kihyo Moon, Minsung Jang, Hyojung Lee·· 2 天前AI 评分40
JigSLO:解决高效多LLM服务资源拼图问题
JigSLO: Solving the Resource Puzzle for Efficient Multi-LLM Serving
AI 导读
JigSLO 提出一种感知带宽争用的多 LLM 服务系统,平均将 SLO 达标率提升 2.3 倍,吞吐量提升 1.2 倍。 系统通过联合优化张量并行、计算份额与批次配置,在长上下文工作负载中仅需一半 GPU 即可匹配基线的最佳达标率。
来源:arXiv · ML · arxiv.org