arXiv · ML· Sunil Madhow, Yu-Xiang Wang·· 8 小时前AI 评分20
“深度提升”证明:ReLU 神经网络随性插值参数也能自适应泛化
"Deep lifts": Neural networks can generalize even with the dumbest optimizer
AI 导读
研究证明,从宽度 $W$ 深度 $D$ 的 ReLU 架构中随机选取的插值参数,若数据可由更小的 $w$ 乘 $d$ 网络解释,其泛化率可达 $\tilde O\left(\frac{wdWD}{n}\right)$。 该结果源于“深度提升”技术构建的近似等价参数集,其指数级体积远超非泛化参数,且泛化性在标签损坏下依然存在。 这为将逼近理论结果转化为非参数类别的泛化保证提供了明确路径。
来源:arXiv · ML · arxiv.org