arXiv · ML· Sebastian Kassing·· 4 小时前AI 评分25
深度 ReLU 网络可能不具备连续目标函数的最佳逼近性质
Deep ReLU Networks Can Fail the Best Approximation Property for Continuous Target Functions
AI 导读
作者构造了 $[-1,1]^2$ 上的连续函数反例，证明两层隐藏层且架构为 $(2,2,1,1)$ 的 ReLU 网络 $L^2$ 近似误差下确界无法取到，表明深度 ReLU 网络不具有一般最佳逼近性质。 该结论与单层 ReLU 网络存在全局极小值的现有结果形成对比，证明关键在于第二隐藏层神经元折点弯曲破坏了对称性论证。
来源：arXiv · ML · arxiv.org