arXiv · ML· Grigory Malinovsky, Yury Demidovich, Peter Richt\'arik·· 9 天前AI 评分23
Byzantine-Robust Muon:分布式学习中动量正交化的弹性优化
Byzantine-Robust Muon: Resilient Momentum Orthogonalization for Distributed Learning
AI 导读
提出 Byzantine-Robust Muon 优化器,在统一信任域框架下分析其鲁棒聚合机制。 该框架不依赖独立同分布假设,为凸和非凸目标函数提供收敛保证。 在 ResNet-18 和 38M 语言模型模拟实验中,Muon 配置比 SGD 和 AdamW 具有更高的被攻击准确率。
来源:arXiv · ML · arxiv.org