NAG-GS：一种具有大步骤稳定性的半隐式随机优化器

NAG-GS 是一种基于半隐式 Gauss-Seidel 离散化的随机动量优化器，用于大规模机器学习和优化。 理论上，该方法在强凸二次函数中确定了稳定步长范围，并证明了使用动态阻尼时 $O(1/k)$ 的目标差距界。 实验中，NAG-GS 在 CNN、RoBERTa 和 Vision Transformers 上表现有效，尤其在标准优化器不稳定的学习率下保持性能。