arXiv · ML· Quan Nguyen, Robin Yadav, Param Mody, Mark Schmidt·· 8 小时前AI 评分33
非线性可分数据上极简 ReLU 分类器：稳定性边缘的收敛与隐式偏置分析
A Minimal ReLU Classifier on Non-Linearly Separable Data: Convergence and Implicit Bias at and beyond the Edge of Stability
AI 导读
该研究分析了双神经元 ReLU 网络在 1D 非线性可分数据上使用大学习率梯度下降（GD）的行为。 研究证明在特定参数锥体内部，GD 收敛于最大间隔向量，且自适应学习率调度可实现 $O(1/(T\log{T})$ 的损失率，优于标准 $O(1/T)$。 该理论结果在 MNIST 数据集上得到验证，为研究线性预测器之外的神经大步长提供了可处理的模型。
来源：arXiv · ML · arxiv.org