Muon极向更新理论分析

2026年10月23日，Egor Shulgin等人发布论文《A Quadratic Lens on Muon's Polar Update》，分析Muon优化器核心组件PolarGD在二次型矩阵问题中的表现。研究指出，当梯度远离低秩且大奇异值方向曲率高时，PolarGD优于传统梯度下降，能在误差行正交且范数相等时一步收敛，且不受问题旋转影响。在多步训练中，PolarGD相当于由当前迭代矩阵预条件的梯度下降，其速度取决于迭代矩阵的条件数而非Hessian矩阵。此外，少量Newton-Schulz迭代对微小奇异值的处理效果优于精确正交化。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。