arXiv · ML· Yanzhe Chen, Qifang Zhao, Xiaoxiao Xu, Fanghui Liu·· 23 小时前AI 评分23
研究揭示 Muon 优化器打破大语言模型预训练中稳定性边缘的耦合机制
Muon Sublates the Edge of Stability in LLM Pretraining
AI 导读
Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘（EoS）理论，其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon，研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$，并证实时间对齐遵循不同的几何特性。
来源：arXiv · ML · arxiv.org