arXiv · ML· Zhaoyuan Su, Olatunji Ruwase, Karthik Ganesan, Aurick Qiao, Samyam Rajbhandari, Juncheng Yang, Yue Cheng, Yuxiong He·· 6 小时前AI 评分28
ZeRO-Prefill：MoE Prefill 服务中实现零冗余开销
ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving
AI 导读
针对 Qwen3-235B-A22B 模型，ZeRO-Prefill 系统通过异步专家并行 AsyncEP 实现了 MoE Prefill 服务的零冗余开销，在实际工作负载下吞吐量比最强分布式基线提升 1.34-1.37 倍。
来源：arXiv · ML · arxiv.org