arXiv · NLP· Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi·· 6 小时前AI 评分35
Coral：面向异构云 GPU 的成本高效多 LLM 服务系统
Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs
AI 导读
Coral 是一个自适应、异构感知的多 LLM 服务系统，通过联合优化资源分配与副本服务策略降低成本。 该系统采用无损两阶段分解方法，将在线求解时间从数小时缩短至数十秒。 在 6 个模型和 20 种 GPU 配置的评估中，Coral 相比最强基线降低了最多 2.79 倍的服务成本，并在资源受限下实现了最多 2.39 倍的有效吞吐提升。
来源：arXiv · NLP · arxiv.org