跳到正文
arXiv · ML· Mushir Akhtar, Hazem N. Nounou, Majdi Mansouri, Mohamed N. Nounou·· 2026-10-16AI 评分32

Muon 在数据、时间与调优预算受限下的配对基准测试:何时优于 AdamW

When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark

AI 导读

summary_zh: 研究在单张 A100 GPU 上对比 Muon 与 AdamW,结果显示 Muon 在语言模型(17.7M-33.6M 参数)和视觉 Transformer(2.70M 参数)上降低验证损失。

来源:arXiv · ML · arxiv.org