arXiv · ML· Iosif Lytras, Nikolaos Makras, Sotirios Sabanis·· 1 天前AI 评分26
SG-TULA:超越凸性的驯服次梯度非调整 Langevin 算法
The Tamed Subgradient Unadjusted Langevin Algorithm beyond Convexity
AI 导读
研究提出 SG-TULA,通过驯服技术处理非光滑、超线性梯度增长的非凸分布采样,推导 Wasserstein-2 距离下的非渐近收敛界。 针对 GPT-2 正则化预训练势能验证假设,SG-TULA 预训练在对比实验中表现优于 AdamW 和 Muon。
来源:arXiv · ML · arxiv.org