arXiv · ML· Dimitris Oikonomou, Nicolas Loizou·· 16 小时前AI 评分22
CS-SAM:突破平滑性假设的曲率缩放锐度感知最小化收敛分析
Curvature-Scaled Sharpness-Aware Minimization: Convergence Beyond Smoothness
AI 导读
针对SAM方法在缺乏平滑性假设时收敛保证缺失的问题,提出曲率缩放SAM(CS-SAM)。该方法通过缩放扰动和下降步长统一控制相对梯度畸变,在$(L_0,L_1)$或$(H_0,H_1)$-光滑性下证明非凸目标非凸函数达到$\mathcal{O}(1/T)$收敛速率。
来源:arXiv · ML · arxiv.org