arXiv · ML· Druv Pai, Dejan Stancevic, Yi Ma, Luca Ambrogioni·· 1 天前AI 评分20
扩散模型生成训练的信息论缩放定律
Information-Theoretic Scaling Laws for Generative Diffusion Training
AI 导读
研究提出基于模型信息量的缩放定律，揭示扩散模型训练中的非线性记忆与线性泛化两个定性不同的 regime。 该定律量化了模型信息随规模和数据量的变化，并能外推至拟合域之外，指导记忆与样本质量优化。 代码已在 GitHub 公开，为扩散模型的信息论特性提供原理性解释。
来源：arXiv · ML · arxiv.org