跳到正文
arXiv · NLP· Zeshen Zhang, Han Zhao, Weihao Cui, Quan Chen, Yu Liu, Yongjun Deng, Jing Yang, Jiuchen Shi, Chen Chen, Youmin Chen, Yu Feng, Minyi Guo·· 2026-10-06AI 评分25

HALO 框架如何解决本地部署 LLM 的多 SLO 高吞吐调度问题

From Overloaded to Guaranteed: High-Throughput Multi-SLO Enforcement for LoRA-Assisted On-Premise LLM Deployment

AI 导读

HALO 是一种专为本地 LLM 部署设计的调度方法,通过 GPU 空间复用和 SLO 感知调度解决 LoRA 多服务高吞吐下的 SLO 保证难题。 该方法将 GPU SM 分区以重叠 Base 和 LoRA 计算,并利用请求级松弛时间进行流量整形,在降低 SLO 违规率的同时显著提升吞吐量。 相比最先进基线,HALO 有效缓解了资源争用,适合医院和政府机构等资源受限且注重隐私的本地化部署场景。

来源:arXiv · NLP · arxiv.org