arXiv · ML· Qifan Yu, Xinyu Ma, Xingyan Bin, Di He·· 9 小时前AI 评分32
权重归一化训练中有效学习率调度的原始终结：AIR 调度策略分析
Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training
AI 导读
summary_zh: 研究指出权重归一化（WN）训练的损失增益主要源于诱导的有效学习率（ELR）轨迹，而非单纯的归一化。 提出的 AIR 调度结合了 $1/\sqrt{t}$ 衰减与仿射调整，在 128 B-token MoE 预训练中，相比 cosine 调度将最终训练损失降低约 0.01。
来源：arXiv · ML · arxiv.org