arXiv · ML· Justin Lovelace, Christian Belardi, Srivatsa Kundurthy, Shriya Sudhakar, Kilian Q. Weinberger·· 14 天前AI 评分25
数据受限训练下的规范性扩展定律:单参数模型揭示计算与数据的最优分配
Prescriptive Scaling Laws for Data Constrained Training
AI 导读
该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。
来源:arXiv · ML · arxiv.org