跳到正文
arXiv · ML· Shreyas Chaudhari, Jose M. F. Moura·· 13 小时前AI 评分34

ReLU 网络中仅偏差项训练的动力学研究

Bias-Only Training Dynamics in ReLU Networks

AI 导读

研究揭示了随机初始化固定权重、仅训练偏差项的 ReLU 网络作为通用近似器的动力学机制,证明梯度依赖激活码。 理论表明在激活码固定时,训练简化为线性最小二乘问题,且宽网络中神经元的激活切换比例随宽度增加而消失。 实验结果支持理论发现,确认在无限宽度极限下训练动力学趋近于基于初始激活码的线性最小二乘。

来源:arXiv · ML · arxiv.org