跳到正文
arXiv · ML· Devan Selvaraj·· 9 天前AI 评分26

Muon 优化器迭代正交化在大规模下的缩放定律

Iterative Orthogonalization Scaling Laws

AI 导读

Muon 优化器的迭代正交化过程在大规模训练中存在潜在问题。随着规模增大,随机矩阵的奇异值会收缩,影响正交化效果。 该研究通过随机矩阵在理论和实证层面展示了这一缩放行为,但未提出具体的解决方案。

来源:arXiv · ML · arxiv.org