arXiv · AI· Li Kong, Qi Qi, Yinyu Ye, Zijie Zhou·· 2026-10-08AI 评分31
LLM 推理服务中的几何感知在线调度:从理论界限到系统实践
Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice
AI 导读
针对 LLM 推理中动态 KV cache 增长特性,提出几何感知在线调度算法 Smallest Volume First (SVF) 及其高效变体 1-bit SVF。
来源:arXiv · AI · arxiv.org