跳到正文
arXiv · ML· Sewon Min·· 2026-10-14AI 评分23

重复数据预训练扩展:批量大小、正则化与 GPU 时间权衡

Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

AI 导读

研究揭示在计算充足但数据有限场景下,重复预训练的算力前沿取决于此前孤立研究的选择。联合优化批量大小与训练轮次发现 U 型验证损失关系,小批量因梯度噪声提供隐式正则化而优于典型设置。

来源:arXiv · ML · arxiv.org