跳到正文
arXiv · ML· Mohnish Harwani, Yujia Zheng·· 2026-10-08AI 评分35

顺序预训练青睐大模型

Sequential Pretraining Favors Large Models

AI 导读

研究发现大模型因对早期数据分布偏差具有更高鲁棒性而优于小模型,小模型在顺序预训练中常难以学习后期分布(如代码、数学和推理)。 研究提出“曝光疗法”(ET)正则化方法,在十亿参数规模内提升模型对后期数据分布的学习效果及整体能力。 结果表明,大模型的部分优势源于训练鲁棒性而非特征代表性,改进算法可让较小模型获得类似收益。

来源:arXiv · ML · arxiv.org