跳到正文
arXiv · ML· Lexiao Lai, Tianyi Lin, Jiayu Zhang·· 2026-10-12AI 评分33

非光滑优化中的正交化动量与MAGD方法

Nonsmooth Optimization via Orthogonalized Momentum

AI 导读

研究揭示固定动量因子下Muon在凸Lipschitz目标中可能无法收敛至全局最优,该失效源于固定动量而非正交化。 文章提出MAGD方法,结合正交化动量与梯度,在非凸设置下保留渐近收敛性,并在凸设置下达到O(min{m,n}ε⁻²)速率。 实验显示MAGD是Muon的简单实用替代,适用于图像分类和LLM预训练。

来源:arXiv · ML · arxiv.org