arXiv · ML· Adeel Safder, Bum Jun Kim·· 2 天前AI 评分20
MAGDrop：具备可证明泛化保证的动量自适应梯度丢弃方法
MAGDrop: Momentum Adaptive Gradient Dropout With Provable Generalization Guarantees
AI 导读
提出MAGDrop方法，通过跟踪梯度幅值指数移动平均实现单元级噪声自适应，在CIFAR-10上以r=50子空间将PAC-Bayes界从0.4439降至0.1882。 全头后验KL散度约8625 nats，子空间方法降低约800倍且保持精度接近基线；ImageNet-1K上MAGDrop top-1准确率为78.57%（ViT）和82.14%（ConvNeXt-Base）。
来源：arXiv · ML · arxiv.org