Muon 优化器在 Transformer 下一词预测训练中的理论分析

Muon 在 Transformer LLM 训练中的优化动态缺乏理论解释，本文针对下一词预测任务分析了其训练动力学。 研究将训练分为预处理与主阶段，确立了主阶段下训练损失及归一化边际间隙的非渐近收敛率。 理论表明 Muon 能提升关键 token 学习效率并保障泛化能力，相关结论已通过实验验证。