arXiv · ML· Yongtao Wu, Mahdi Mansouri, Zhenyu Zhu·· 2026-10-15AI 评分23
Muon 优化器在有限 Newton-Schulz 迭代下的隐式偏差:从谱范数到 Frobenius 范数
From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias
AI 导读
理想化的 Muon 优化器具有谱最大边距隐式偏差,但在实际实现中,使用有限 Newton-Schulz 迭代和正稳定常数会导致其选择 Frobenius 最大边距方向。 研究通过可求和扰动论证证明,这一行为在指数移动平均和 Nesterov 动量下均成立,参数轨迹与梯度下降保持有界距离。 发现 Muon 可通过令 Newton-Schulz 迭代次数随训练对数增长,重新恢复其谱最大边距偏差。
来源:arXiv · ML · arxiv.org