NeurIPS 2026研究揭示SGD动力学中教师诱导尖峰损害泛化
热点事件持续更新
NeurIPS 2026研究揭示SGD动力学中教师诱导尖峰损害泛化
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
在NeurIPS 2026会议上,Samet Demir等人发表了研究论文,分解了两层神经网络中随机梯度下降(SGD)的动力学。该研究聚焦于教师模型多索引场景,发现第一层参数中垂直于教师子空间的正交补分量内,存在一种教师依赖性谱尖峰。 这种谱尖峰会放大表示方差,从而降低模型的泛化能力。为了验证这一机制,研究团队引入了“分解动力学”替代模型。在针对ReLU学生网络的模拟实验中,结果表明冻结正交补分量的方向比训练这些方向能显著改善泛化效果。 该结果从动力学角度解释了教师子空间外的特征学习为何损害泛化。研究发现信号分量与二层权重存在强耦合,这为理解神经网络训练中的泛化退化提供了新的理论视角。
AI 根据报道生成 · 12 小时前更新
最新进展11月19日 13:00
NeurIPS 2026 研究:SGD 动力学分解揭示教师诱导尖峰与方差放大机制报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · MLNeurIPS 2026 研究:SGD 动力学分解揭示教师诱导尖峰与方差放大机制
该研究分解了两层神经网络中 SGD 的动力学,发现正交补分量中的教师依赖性谱尖峰会放大表示方差并降低泛化能力。 通过引入“分解动力学”替代模型,验证了在 ReLU 学生网络中冻结正交补分量方向能改善泛化,且信号分量与二层权重存在强耦合。 结果从动力学角度解释了教师子空间外的特征学习为何损害泛化。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月19日 14:00
- 近 24 小时变化
- –
02.557.510
14:0016:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。