双神经元ReLU网络大学习率收敛与隐式偏差分析

1. 12:00
   arXiv · ML

   非线性可分数据上极简 ReLU 分类器：稳定性边缘的收敛与隐式偏置分析

   该研究分析了双神经元 ReLU 网络在 1D 非线性可分数据上使用大学习率梯度下降（GD）的行为。 研究证明在特定参数锥体内部，GD 收敛于最大间隔向量，且自适应学习率调度可实现 $O(1/(T\log{T})$ 的损失率，优于标准 $O(1/T)$。 该理论结果在 MNIST 数据集上得到验证，为研究线性预测器之外的神经大步长提供了可处理的模型。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。