arXiv · ML· Yingzhen Yang, Ping Li·· 24 天前AI 评分20
预条件梯度下降训练过参数化神经网络的泛化分析
Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
AI 导读
研究提出预条件梯度下降结合早期停止算法,为过参数化两层神经网络提供非参数回归的尖锐泛化界。 该算法达到 $O(n^{-\frac{2\alpha s'}{2\alpha s'+1}})$ 的回归速率,优于现有理论中的几乎最优界,且避免了额外对数项。 该结果揭示了预条件梯度下降通过降低有效核复杂度来改善神经网络的参考训练动态。
来源:arXiv · ML · arxiv.org