跳到正文
arXiv · AI· Li Kong, Qi Qi, Yinyu Ye, Zijie Zhou·· 2026-10-08AI 评分31

LLM 推理服务中的几何感知在线调度:从理论界限到系统实践

Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice

AI 导读

针对 LLM 推理中动态 KV cache 增长特性,提出几何感知在线调度算法 Smallest Volume First (SVF) 及其高效变体 1-bit SVF。

来源:arXiv · AI · arxiv.org