arXiv · ML· Xinyu Zhao, Davis Wertheimer, Ashutosh Sharma, Rameswar Panda, Paul Pu Liang·· 8 小时前AI 评分32
跨越 LLM 训练阶段切换优化器的短暂成本
The Ephemeral Cost of Switching Optimizers Across LLM Training Stages
AI 导读
研究发现 Llama-3 模型从 AdamW 切换至 Muon 优化器几乎无显著性能惩罚，且 Muon 比例增加通常提升 SFT 后的下游性能。 该结论基于 1.2B 模型预训练及 14B 规模 Llama 和 Qwen 模型的持续预训练与 SFT 实验，结果显示后训练优化器选择可独立于预训练优化器。 该研究已被 NeurIPS 2026 研讨会接收，为优化器跨阶段迁移提供了系统性实证依据。
来源：arXiv · ML · arxiv.org