跳到正文
arXiv · ML· Haodong Wen, Kairong Luo, Tingkai Yan, Wenguang Chen, Kaifeng Lyu·· 29 天前AI 评分28

研究揭示 LLM 中数据排程与学习率排程应联合设计

Data Schedules and Learning Rate Schedules Should Be Designed Together

AI 导读

研究表明,在 LLM 中训练阶段,完全从预训练数据切换到中训练数据并非总是最优。 若学习率全程衰减,更早引入中训练数据并混合预训练数据可降低最终损失;但若使用恒定学习率,该结论反转。 实验发现,应在中训练数据进入后再衰减学习率,最优数据排程依赖于具体学习率策略。

来源:arXiv · ML · arxiv.org