跳到正文
arXiv · AI· Arnab Kanti Tarafder, Jaume Guasch-Mart\'i, Gokcen Kestor, Jie Ren·· 2026-10-07AI 评分32

RelayMoE:分布式MoE训练的内存高效专家路由方案

Memory-Efficient Expert Routing for Distributed MoE Training

AI 导读

针对大规模MoE模型分布式训练中的内存瓶颈,研究团队提出名为RelayMoE的基于环的MoE执行模型。 该模型通过本地计算避免构建完整的top-k扩展调度缓冲区,并依据通信量选择专家或token路由,实现传输与计算的重叠。 在30B至57B生产级MoE模型的实验中,RelayMoE相比Megatron-LM实现平均2倍加速,在相同显存预算下最大吞吐量提升2.02倍,可训练序列长度延长2.85倍。

来源:arXiv · AI · arxiv.org