arXiv · ML· Rustem Islamov, Roman Machacek, Aurelien Lucchi, Antonio Silveti-Falls, Eduard Gorbunov, Volkan Cevher·· 9 小时前AI 评分23
随机条件梯度法中批量大小的作用：理论分析与 NanoGPT 实验验证
On the Role of Batch Size in Stochastic Conditional Gradient Methods
AI 导读
研究在 $\mu$-KL 条件下推导了动量型随机条件梯度算法（如 Scion）的分析框架，揭示了批量大小存在临界阈值：初始增大批量提升精度，但超过阈值后收益饱和甚至降低性能。 理论预测了最优步长量级，并提出了在训练中动态增加批量大小和序列长度的自适应策略。 在 NanoGPT 上的实验验证了理论预测的 scaling 规律，为设计高效训练调度提供了指导。
来源：arXiv · ML · arxiv.org