跳到正文
arXiv · ML· Zhiyuan Fang, Dingyang Li, Jianfeng Zhong, Bin Wang, Weixi Zhu, Cunshu Ni, Zicong Hong, Wuhui Chen, Zibin Zheng·· 21 天前AI 评分29

Rimuru:通过弹性专家卸载实现现代 LLM 服务统一内存管理

Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading

AI 导读

Rimuru 提出一种现代 LLM 服务系统,通过弹性专家卸载统一异构张量的内存管理。 其核心机制包括共享页面池、内存视图、多级页面分配器以及页面表感知融合 MoE 内核,实现跨类型容量复用。 基于 vLLM 实现,评估显示其吞吐量最高提升 19.03 倍,TTFT 平均降低 98.1%。

来源:arXiv · ML · arxiv.org