跳到正文
arXiv · ML· Benjamin Novotny, Doug Szeto, Chang Wang, Shicheng Chen, George Zhihua Yuan, Bob Kamma, Michael Ge, John Xin Zhou, Andrea Olgiati·· 12 小时前AI 评分40

Cap-and-Track:跨动态容量优化 LLM 推理请求调度

Cap-and-Track: Optimizing LLM Inference Request Dispatch Across Shifting Capacity

AI 导读

Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。

来源:arXiv · ML · arxiv.org