跳到正文
arXiv · ML· Shashank Subramanian, Alexander Kiefer, Arnur Nigmetov, Amir Gholami, Dmitriy Morozov, Michael W. Mahoney·· 10 天前AI 评分28

基于持续训练的天气预报神经缩放定律研究

On Neural Scaling Laws for Weather Emulation through Continual Training

AI 导读

该研究采用 Swin Transformer 架构和持续训练策略,验证了科学机器学习领域中神经缩放定律的可预测性。模型在简单设定下超越标准余弦学习率调度,并可通过冷却阶段优化多步预测和频谱损失。研究构建了 IsoFLOP 曲线,识别出计算最优训练模式,并开源了代码。

来源:arXiv · ML · arxiv.org