arXiv · AI· William X. Zheng, Zhongjie Chen, Shuo Yang, Ziming Mao, Xiaoze Fan, Yi Pan, Kunjun Li, Hanfei Yu, Chenfeng Xu, Yang Zhou, Rishabh Iyer, Ion Stoica·· 10 天前AI 评分25
AdaOffload:支持自适应专家卸载的多 GPU MoE 推理框架
Multi-GPU MoE Inference with Adaptive Expert Offloading
AI 导读
AdaOffload 提出了一种多 GPU MoE 推理框架,通过 GPU-CPU 并行与协同执行,解决了现有系统在增加 GPU 时性能无法扩展的问题。 该框架在 L4、Pro6000 和 B200 等 5 种不同硬件平台上,对 284B 至 753B 规模的 3 个开源 MoE 模型进行评估,吞吐量提升 1.9 至 15.5 倍。
来源:arXiv · AI · arxiv.org