跳到正文
arXiv · ML· Ashman Mehra, Akshan Agarwal, Aryeh Carmi·· 2026-10-14AI 评分23

面向 GPU 架构的持续批处理 LLM 服务轻量调度策略研究

Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures

AI 导读

研究证实轻量级调度策略可在不改模型架构下优化 LLM 服务性能。 团队在 L40S、A100 及 H100 上评估 8 种策略,涵盖 Qwen、Gemma 等模型。Aging shortest-prompt-first 为最优实用基线。

来源:arXiv · ML · arxiv.org