跳到正文
arXiv · ML· Xingyu Qu, Tianhao Lin, Yiqi Li, Zhiyu Chen, Sheng Wang·· 2026-10-16AI 评分22

HAServe:面向高效 LLM 服务的感知水平调度与内存协同设计

HAServe: Horizon-Aware Scheduling and Memory Co-Design for Efficient LLM Serving

AI 导读

HAServe 提出 HorizonSchema 抽象,通过联合优化请求准入与 KV 保留策略降低在线 LLM 服务延迟。 在 SGLang 上实现,使用 8 张 H100 GPU 评测 Qwen3-4B-Instruct-2507 和 Llama2-13B,P99 TTFT 提速 1.14–5.90 倍,吞吐量提升 1.08–1.44 倍。

来源:arXiv · ML · arxiv.org