数据受限下缩放新方法获论文验证

2026年10月30日，arXiv 发布由 Ethan Baron 等人撰写的论文，提出一种在高质量训练数据增速受限情形下的模型缩放方法。该方法通过拟合幂律动态调整超参数并引入模型集成，旨在解决以往扩展指南在增加计算量后损失可能上升的缺陷。 在验证阶段，该方案在 100M 规模的 FineWeb 数据集上进行测试，结果显示验证损失降低超过 0.15 nats，困惑度下降 14%，且在计算量扩大最高 12 倍的情况下性能仍保持单调提升，验证了方法的有效性。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。