arXiv · AI· Mankeerat Sidhu, Gangmuk Lim, Hetarth Chopra, Maximillian Eisenberg, Quan Hao Ng, Aryan Gosaliya, Shu Liu, Luka Govedi\v{c}, Jiaxin Shan, Hongkuan Zhou, Vikram Sharma Mailthody, P. Brighten Godfrey, Ion Stoica·· 12 小时前AI 评分39
Koi：面向多云异构 LLM 推理机队的证据引导、自校准集群规划器
Koi: Evidence-Guided, Self-Calibrating Planning for Multi-Cloud, Heterogeneous LLM Inference Fleets
AI 导读
Koi 是一种自校准集群规划器，在异构集群上将每 token 成本降低 20%，好put（goodput）较最强基线提升 1.18 倍。 它采用递归语言模型（RLM）层级生成假设，并用固定因果图关联加速器、并行度等决策与延迟、吞吐量等结果。 Koi 的消融实验显示，完整规划器综合得分 70.8，显著高于纯语言模型的 35.3 和配备确定性工具的 51.6。
来源：arXiv · AI · arxiv.org