arXiv · ML· Ethan Baron, Shmuel Berman, Anirudh Satheesh, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson·· 8 小时前AI 评分25
通过超参数迁移与模型集成改进数据受限扩展
Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling
AI 导读
针对高质量训练数据增速落后的问题，新方案通过拟合幂律动态调整超参数并引入模型集成，解决了以往扩展指南在增加计算量后损失可能上升的缺陷。 该方案在 100M 的 FineWeb 数据上进行验证，使验证损失降低超过 0.15 nats，困惑度下降 14%，且计算量最高扩大 12 倍后性能仍保持单调提升。
来源：arXiv · ML · arxiv.org