跳到正文
arXiv · ML· Arda Fazla, Antesh Upadhyay, Ege C. Kaya, M. Berk Sahin, Abolfazl Hashemi·· 2026-10-05AI 评分24

自适应批处理如何帮助 LLM 预训练?来自无界方差视角的解析

Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance

AI 导读

该研究提出一种自适应批调度器,通过动态调整批大小来控制训练过程中的方差增长。在 OLMo2 1B 模型预训练中,该调度器在相同 token 预算下实现了比小批量和大批量训练更低的验证损失,且迭代次数少于小批量训练的 10%。

来源:arXiv · ML · arxiv.org