arXiv · AI· Zhenghao Li, Shengbo Wang, Nian Si·· 13 小时前AI 评分35
LLM 推理调度中 cμ 规则在内存约束下的渐近最优性
Asymptotic Optimality of $c\mu$-Rule for LLM Inference Scheduling under Memory Constraint
AI 导读
针对大语言模型推理的在线调度问题，研究证明 cμ 优先级规则在流体模型下能最小化累积等待成本，并最大化全程输出 token 吞吐量。 该规则的有效服务速率由计算速度、内存带宽和容量共同决定。在 NVIDIA H800 上对真实推理引擎进行的实验表明，该策略能在保持高吞吐量的同时显著降低平均延迟。
来源：arXiv · AI · arxiv.org