跳到正文
arXiv · ML· Grigory Malinovsky, Yury Demidovich, Peter Richt\'arik·· 9 天前AI 评分23

Byzantine-Robust Muon:分布式学习中动量正交化的弹性优化

Byzantine-Robust Muon: Resilient Momentum Orthogonalization for Distributed Learning

AI 导读

提出 Byzantine-Robust Muon 优化器,在统一信任域框架下分析其鲁棒聚合机制。 该框架不依赖独立同分布假设,为凸和非凸目标函数提供收敛保证。 在 ResNet-18 和 38M 语言模型模拟实验中,Muon 配置比 SGD 和 AdamW 具有更高的被攻击准确率。

来源:arXiv · ML · arxiv.org