跳到正文
arXiv · ML· Ran Tian, Courtney Paquette·· 2026-10-12AI 评分38

基于逐层随机特征模型模拟深度神经网络训练尖峰

Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models

AI 导读

简单二次模型通过重尾幂律分布输入可复现大语言模型预训练中的间歇性损失尖峰。 作者建立了逐层训练动态的理论框架与模拟算法,针对已知诱发尖峰的 Adam $\beta_2$ 接近 1 配置进行验证。 模拟成功预测了特定检查点的尖峰行为,且推导的 $\beta_2$ 调度方案在实证中改善了性能。

来源:arXiv · ML · arxiv.org