跳到正文
arXiv · ML· Justin Lovelace, Christian Belardi, Srivatsa Kundurthy, Shriya Sudhakar, Kilian Q. Weinberger·· 14 天前AI 评分25

数据受限训练下的规范性扩展定律:单参数模型揭示计算与数据的最优分配

Prescriptive Scaling Laws for Data Constrained Training

AI 导读

该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。

来源:arXiv · ML · arxiv.org