arXiv · ML· Egor Shulgin, Sam Laing, Antonio Orvieto, Peter Richt\'arik·· 4 小时前AI 评分37
Muon 极向更新在二次型矩阵问题中的优劣及 Newton-Schulz 迭代的作用
A Quadratic Lens on Muon's Polar Update: Benefits, Pitfalls, and the Role of Newton-Schulz
AI 导读
Muon 优化器核心组件 PolarGD 在梯度远离低秩且大奇异值方向曲率高时表现优于梯度下降，能在误差行正交且范数相等时一步收敛，且不受问题旋转影响。 PolarGD 在多步训练中相当于由当前迭代矩阵预条件的梯度下降，其速度取决于迭代矩阵的条件数而非 Hessian 矩阵；少量 Newton-Schulz 迭代对微小奇异值的处理优于精确正交化。
来源：arXiv · ML · arxiv.org