Muon有限步Newton-Schulz迭代末态收敛性分析论文发布

2026年10月25日，Ping Li与Vincent Y. F. Tan在arXiv cs.lg板块发布了题为“Last-Iterate Stationarity of Muon with Finitely Many Newton-Schulz Iterations”的理论分析论文。 该研究指出，在确定性梯度下，采用有限步Newton-Schulz迭代的Muon优化器可能出现周期性震荡；引入正稳定化机制可保证末次梯度收敛，且梯度高斯平方可和。 在随机梯度场景下，恒定学习率会阻碍收敛。最新分析表明，需结合递减学习率与递增动量策略，才能实现末次迭代的平稳收敛。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。