跳到正文
arXiv · NLP· Peizhuang Cong, Aomufei Yuan, Shimao Chen, Yuxuan Tian, Bowen Ye, Yilun Yao, Tong Yang·· 2026-10-14AI 评分33

预测是 MoE 所需的一切:专家负载分布从波动走向稳定

Prediction Is All MoE Needs: Expert Load Distribution Goes from Fluctuating to Stabilizing

AI 导读

研究者分析 MoE 训练中专家负载波动问题,利用预测算法将负载分布状态从波动转向稳定,提升资源利用率。 针对 GPT3 350M 模型,预测未来 1,000 和 2,000 步的专家负载比例,平均误差率分别为 1.3% 和 1.8%。 该成果为 MoE 模型训练中的专家放置或资源分配提供了有效指导。

来源:arXiv · NLP · arxiv.org