跳到正文
arXiv · ML· Iosif Lytras, Nikolaos Makras, Sotirios Sabanis·· 1 天前AI 评分26

SG-TULA:超越凸性的驯服次梯度非调整 Langevin 算法

The Tamed Subgradient Unadjusted Langevin Algorithm beyond Convexity

AI 导读

研究提出 SG-TULA,通过驯服技术处理非光滑、超线性梯度增长的非凸分布采样,推导 Wasserstein-2 距离下的非渐近收敛界。 针对 GPT-2 正则化预训练势能验证假设,SG-TULA 预训练在对比实验中表现优于 AdamW 和 Muon。

来源:arXiv · ML · arxiv.org