arXiv · ML· Lexiao Lai, Tianyi Lin, Jiayu Zhang·· 2026-10-12AI 评分33
非光滑优化中的正交化动量与MAGD方法
Nonsmooth Optimization via Orthogonalized Momentum
AI 导读
研究揭示固定动量因子下Muon在凸Lipschitz目标中可能无法收敛至全局最优,该失效源于固定动量而非正交化。 文章提出MAGD方法,结合正交化动量与梯度,在非凸设置下保留渐近收敛性,并在凸设置下达到O(min{m,n}ε⁻²)速率。 实验显示MAGD是Muon的简单实用替代,适用于图像分类和LLM预训练。
来源:arXiv · ML · arxiv.org