arXiv · NLP· Marcos Hernanz·· 21 天前AI 评分32
Muon 让首个 Mixture-of-Experts 层更难平衡
Muon Makes the First Mixture-of-Experts Layer Harder to Balance
AI 导读
Muon 优化器使 MoE 语言模型首个专家层负载更难平衡,偏差幅度平均翻倍。 实验使用 55M 和 108M 参数模型,Muon 导致前几层偏差跨度增大,忙碌专家处理四至七倍份额。 将路由移至 AdamW 会轻微增加损失,该规模下结果支持路由使用 Muon。
来源:arXiv · NLP · arxiv.org