arXiv · ML· Andreea-Alexandra Musat, Nicolas Boumal·· 9 小时前AI 评分20
多类别逻辑回归中大步长梯度下降的常数迭代收敛性
Gradient descent reaches arbitrary accuracy in a fixed number of large steps on multiclass logistic regression
AI 导读
梯度下降在迭代次数 T 与精度差 ε 无关的常数步内，即可达到多类别逻辑回归的 ε 最优性间隙。 步长 η 需随 ε 及数据集线性可分属性增大；T 仅取决于数据点数量与间隔。 该结果基于大步长下重缩放梯度下降趋近感知算法的特性，补充了大跨度训练中的非振荡稳定阶段证据。
来源：arXiv · ML · arxiv.org