跳到正文
arXiv · ML· Hiroshi Horii (SU), Sothea Has (KHM)·· 2026-10-16AI 评分21

从 SGD 动力学视角推导深度神经网络最优初始化方差条件

Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective

AI 导读

研究基于 SGD 动力学,通过最小化期望损失上界推导出深度神经网络高斯初始化的最优方差条件。 该数学准则优于启发式方法,在 MNIST 数据集实验中证实,满足此条件的模型最终训练损失低于 He 初始化且测试精度更高。

来源:arXiv · ML · arxiv.org