跳到正文
arXiv · AI· Ishaan Datta, Alind Khare, Koushik Kumar Dey, Ratnesh Jamidar, Anand Kumar Singh·· 4 天前AI 评分23

VelServe 通过尾部校准调度平抑 LLM 推理解码抖动

VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling

AI 导读

VelServe 提出一种通过尾部校准调度平抑 LLM 解码抖动的方案,在 Qwen3-8B 和 DeepSeek-V4-Flash 上将 SLO goodput 提升至最强基线的 2.4-2.9 倍。 该调度器校准每个解码步骤的 prefill 工作量,结合最短等待 prompt 优先策略,在 8 卡分离部署下使满足 SLO 的请求数达到 SOTA 基线的两倍以上。

来源:arXiv · AI · arxiv.org