跳到正文
arXiv · AI· Amartya Roy, Souvik Chakraborty·· 2026-10-05AI 评分20

Muon 优化器有限步 Newton-Schulz 正交化的训练损失收敛保证

Training-Loss Guarantees for Muon with Finite-Step Newton--Schulz Orthogonalization

AI 导读

针对 Muon 优化器采用有限步 Newton-Schulz 正交化的场景,研究建立了保证训练损失收敛的有限时界。对于足够宽的双层 ReLU 网络,证明该优化器在任意动量参数下都能以高概率达到预设的平方损失目标,且所需网络宽度不随精度或动量变化。

来源:arXiv · AI · arxiv.org