跳到正文
arXiv · ML· Yanyang Xiao·· 2026-10-16AI 评分21

浅层神经网络为何优先学习正弦分量:基于正交多项式动力学的框架

Why Shallow Neural Networks Learn Sinusoidal Components First: An Orthogonal Polynomial Dynamics Framework

AI 导读

该研究通过正交多项式动力学框架解释了神经网络的频谱偏置现象。核心观点是浅层网络倾向于先学习低频正弦分量。 分析方法基于将网络输出展开为一般傅里叶级数,并构建描述梯度下降动力学的矩阵 H。通过矩阵 H 的特征值衰减和特征向量形状,阐明了学习偏好与激活函数及网络架构的关系。

来源:arXiv · ML · arxiv.org