arXiv · ML· Shu Zhou, Jean Barbier, Sebastian Goldt·· 8 小时前AI 评分25
大宽度神经网络学习动力学的介观描述
Mesoscopic learning dynamics of extensive-width neural networks
AI 导读
宽神经网络中随机梯度下降的学习动力学可从重叠分布描述，早期阶段可用高斯近似。 通过高斯近似，学习可简化为追踪目标函数线性与二次成分的集体变量。 该机制通过二次屏蔽加速特化，滤波梯度波动。
来源：arXiv · ML · arxiv.org