SG-TULA：超越凸性的驯服次梯度非调整 Langevin 算法

研究提出 SG-TULA，通过驯服技术处理非光滑、超线性梯度增长的非凸分布采样，推导 Wasserstein-2 距离下的非渐近收敛界。 针对 GPT-2 正则化预训练势能验证假设，SG-TULA 预训练在对比实验中表现优于 AdamW 和 Muon。

摘自 arXiv · ML

还没有足够的连续观测数据，暂不绘制趋势。