跳到正文
arXiv · ML· Md Rifat Arefin, Ravid Shwartz-Ziv, Ernie Chang, Chinnadhurai Sankar, Rylan Conway, Aristide Baratin, Irina Rish, Adithya Sagar, Patrick Huber·· 4 天前AI 评分28

Muon 预训练中临时权重衰减的延迟效应分析

Delayed Effects of Temporary Weight Decay in Muon Pretraining

AI 导读

Muon 预训练中临时权重衰减存在延迟效应,1.4B 模型中 162M 选定的调度未调优直接转移比无衰减好 0.028 nats。 早期衰减导致持续权重范数不足,使相对步长在干预结束后保持较大,近似范数动力学重现了性能排序。 结果表明临时优化调度需在最终训练预算下评估,而非仅在移除时。

来源:arXiv · ML · arxiv.org