跳到正文
arXiv · ML· Alessandro Favero, Antonio Sclocchi, Matthieu Wyart·· 13 小时前AI 评分21

过参数化扩散模型:早期停止优于单纯扩大模型规模的研究

Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models

AI 导读

过参数化扩散模型在训练过程中,泛化能力早于记忆现象出现。 实验表明,记忆发生时间与数据集大小成正比,符合核回归边界理论。通过引入随机规则的简单无上下文无关文法,验证了早期停止对泛化成本的控制。 该研究支持基于数据集规模设置早期停止标准,以避免记忆并优化泛化,对超参数迁移及隐私敏感应用具有直接影响。

来源:arXiv · ML · arxiv.org