Coral系统实现异构GPU多LLM服务成本与吞吐双优化

1. 12:00
   arXiv · NLP

   Coral：面向异构云 GPU 的成本高效多 LLM 服务系统

   Coral 是一个自适应、异构感知的多 LLM 服务系统，通过联合优化资源分配与副本服务策略降低成本。 该系统采用无损两阶段分解方法，将在线求解时间从数小时缩短至数十秒。 在 6 个模型和 20 种 GPU 配置的评估中，Coral 相比最强基线降低了最多 2.79 倍的服务成本，并在资源受限下实现了最多 2.39 倍的有效吞吐提升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。