跳到正文
arXiv · ML· Fares El Khoury, Edouard Pauwels, Samuel Vaiter, Michael Arbel·· 10 天前AI 评分27

基于隐式微分的过参数化双层网络泛化性分析

On Generalization in Bilevel Least Squares with Overparameterized Neural Networks

AI 导读

研究在函数空间通过隐式微分估计超梯度的双层优化泛化性。推导了基于两层 ReLU 网络均一泛化误差的平稳性界。 在 NTK 机制下给出有限样本误差界,揭示样本量对整体收敛性的影响。 数值实验表明,超出 NTK 机制时,双层结构诱导的隐式偏置可促进内层特征学习并提升性能。

来源:arXiv · ML · arxiv.org