arXiv · ML· Yanyang Xiao·· 2026-10-16AI 评分21
浅层神经网络为何优先学习正弦分量:基于正交多项式动力学的框架
Why Shallow Neural Networks Learn Sinusoidal Components First: An Orthogonal Polynomial Dynamics Framework
AI 导读
该研究通过正交多项式动力学框架解释了神经网络的频谱偏置现象。核心观点是浅层网络倾向于先学习低频正弦分量。 分析方法基于将网络输出展开为一般傅里叶级数,并构建描述梯度下降动力学的矩阵 H。通过矩阵 H 的特征值衰减和特征向量形状,阐明了学习偏好与激活函数及网络架构的关系。
来源:arXiv · ML · arxiv.org