arXiv · ML· Catherine Li, Jingchu Gai, Andrej Risteski, Jacob Mitchell Springer, Aditi Raghunathan·· 21 小时前AI 评分32
预训练数据规模逆转 Muon 与 AdamW 微调性能差距
Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap
AI 导读
Muon 在大模型预训练中较 AdamW 有优势，但当预训练数据规模足够大时，微调后 AdamW 表现反超 Muon，且模型尺寸越大，该逆转发生所需的 token-参数比越小。
来源：arXiv · ML · arxiv.org