预训练数据规模逆转 Muon 与 AdamW 微调性能差距

2026年11月3日，arXiv发布的最新研究报告指出，在预训练阶段，Muon优化器相比AdamW在大型语言模型中通常表现出性能优势。然而，当预训练数据规模足够大时，这种优势会发生逆转，微调阶段AdamW的表现反超Muon。研究还发现，模型尺寸越大，发生这一性能逆转所需的预训练token-参数比越小，表明大规模预训练数据对优化器选择的影响随模型规模增大而加剧。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。