随机条件梯度法中批量大小作用理论分析

2026年10月20日，Rustem Islamov等人在arXiv发表研究，探讨随机条件梯度法中批量大小的作用。 研究在$mu$-KL条件下推导了动量型算法（如Scion）的分析框架，揭示批量大小存在临界阈值：初始增大批量可提升精度，但超过阈值后收益饱和甚至降低性能。 该研究预测了最优步长量级，并提出在训练中动态增加批量大小和序列长度的自适应策略，旨在指导高效训练调度的设计。 通过NanoGPT实验验证了理论预测的缩放规律，确认了动态调整批量策略的有效性，为提升随机条件梯度方法的训练效率提供了实证支持。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。