arXiv · AI· Masato Fujitake·· 5 小时前AI 评分30
EnergyCal：抑制 Muon 家族优化器在稀疏 MoE 训练中的损失尖峰
EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training
AI 导读
针对 Muon 优化器在稀疏 MoE 训练中出现的巨大损失尖峰，新提出的 EnergyCal 规则通过衰减路由专家更新来稳定训练过程。在 4B 参数 MoE 模型上，EnergyCal-MuonH 将平均阈值化损失尖峰负担降低 99.51%，最终几何平均困惑度降低 4.06%，且未增加持久化优化器状态。该方法显著提升了 MoE 训练的稳定性，验证了其在有无 Hyperball 设置下的效果。
来源：arXiv · AI · arxiv.org