研究证明LLM推理调度cμ规则渐近最优
热点事件持续更新
研究证明LLM推理调度cμ规则渐近最优
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Zhenghao Li 等人在 arXiv 发布论文，针对大语言模型推理中的在线调度问题提出 cμ 优先级规则。该研究证明，在考虑内存约束的流体模型下，此规则能最小化累积等待成本并最大化全程输出 token 吞吐量。 规则的有效服务速率由计算速度、内存带宽和容量共同决定。实验显示，请求具有异构的提示词和输出长度，且需竞争有限的 KV-cache 容量。 在 NVIDIA H800 硬件上对真实推理引擎进行的测试表明，该策略在保持高吞吐量的同时，能显著降低平均延迟。
AI 根据报道生成 · 3 小时前更新
最新进展11月4日 13:00
LLM 推理调度中 cμ 规则在内存约束下的渐近最优性报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · AILLM 推理调度中 cμ 规则在内存约束下的渐近最优性
针对大语言模型推理的在线调度问题，研究证明 cμ 优先级规则在流体模型下能最小化累积等待成本，并最大化全程输出 token 吞吐量。 该规则的有效服务速率由计算速度、内存带宽和容量共同决定。在 NVIDIA H800 上对真实推理引擎进行的实验表明，该策略能在保持高吞吐量的同时显著降低平均延迟。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 811月4日 23:00
- 近 24 小时变化
- –
02468
23:0011月5日01:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。