跳到正文
arXiv · ML· Ashkan Soleymani, Reyhaneh Hosseinpourkhoshkbari, Hadi Daneshmand, Patrick Jaillet·· 11 天前AI 评分31

归一化深层神经网络中的 Lipschitz 爆炸对优化与对抗鲁棒性的影响

On Lipschitz Explosion in Deep Neural Networks with Normalization: Consequences for Optimization and Adversarial Robustness

AI 导读

含归一化层的深层神经网络中,输入与参数 Lipschitz 常数随网络深度呈指数增长,即使每层范数受限且激活函数为线性。 这种爆炸导致依赖 Lipschitz 常数的非光滑优化保证退化为指数级界,并使最坏情况下的泛化与对抗鲁棒性证书失效,揭示出新的奇异方向扰动会被显著放大。

来源:arXiv · ML · arxiv.org