跳到正文
arXiv · ML· Samet Demir, Zafer Dogan·· 12 小时前AI 评分24

NeurIPS 2026 研究:SGD 动力学分解揭示教师诱导尖峰与方差放大机制

Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation

AI 导读

该研究分解了两层神经网络中 SGD 的动力学,发现正交补分量中的教师依赖性谱尖峰会放大表示方差并降低泛化能力。 通过引入“分解动力学”替代模型,验证了在 ReLU 学生网络中冻结正交补分量方向能改善泛化,且信号分量与二层权重存在强耦合。 结果从动力学角度解释了教师子空间外的特征学习为何损害泛化。

来源:arXiv · ML · arxiv.org