arXiv · ML· Sayantan Choudhury, Xiaoran Cheng, Martin Tak\'a\v{c}, Sen Na, Mladen Kolar·· 8 小时前AI 评分25
Muon with Nesterov 动量：重尾噪声与（随机化）不精确极分解
Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition
AI 导读
研究人员建立了 Muon 结合 Nesterov 动量和不精确极分解在非凸矩阵优化下的收敛理论。 该分析涵盖重尾噪声及 Newton-Schulz 近似，并分析了效率更高的随机低秩极分解方法。 实验验证了这些变体的有效性，填补了理论理解与实践应用间的差距。
来源：arXiv · ML · arxiv.org