arXiv · ML· Ping Li, Vincent Y. F. Tan·· 1 天前AI 评分28
Muon优化器有限步Newton-Schulz迭代的末次迭代平稳性分析
Last-Iterate Stationarity of Muon with Finitely Many Newton-Schulz Iterations
AI 导读
理论分析揭示有限步Muon在确定性梯度下可周期震荡，正稳定化可保证末次梯度收敛且梯度高斯平方可和。随机梯度下恒定学习率阻碍收敛，需结合递减学习率与递增动量实现末次收敛。
来源：arXiv · ML · arxiv.org