arXiv · ML· Yi Feng, Andrea Paudice·· 23 小时前AI 评分21
对抗训练中大步长梯度下降的隐式偏差、优化与锐度分析
Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness
AI 导读
该研究分析了恒定大步长下确定性梯度下降在对抗训练中的动态，揭示其与标准训练的三点关键差异。 具体包括：隐式偏差在任意大步长下持续存在，对抗训练中无统一的收敛速率，且锐度演化呈现不同于“稳定边缘”现象的两阶段动态。
来源：arXiv · ML · arxiv.org