arXiv · ML· Hao Yu·· 6 小时前AI 评分20
路径正则化多层神经网络的双重下降理论：收缩而非过拟合的紧致边界
The Mathematical Theory of Double Descent as Shrinkage, not Overfitting: Matching Bounds for Path-Regularized Multilayer Neural Networks
AI 导读
该论文建立了路径正则化多层神经网络的有限样本泛化理论，证明误差随宽度增加呈非单调下降趋势，峰值超最终平台值且差距随样本量发散。 理论指出双重下降机制源于正则化引发的收缩而非过拟合，正则化超过噪声对偶范数后误差受慢速率 Oracle 不等式控制，不包含方差项。 作者明确该机制是当前估计器的属性，不解释无正则化训练中的双重下降现象。
来源：arXiv · ML · arxiv.org