Jia-Nan Wang等发表动量在大批量训练中风险与效率分析论文

2026年10月26日，Jia-Nan Wang等人在arXiv发布论文，研究动量在大批量训练中的一次通过场景下的作用机制。该研究以幂律核回归为可处理模型，在固定数据预算条件下分析两种动量方法的影响。论文发现Polyak动量可将临界批量大小扩大至min{1, B(1-β)}，同时数值实验验证了其稳定性边界与风险动态表现。研究还指出Nesterov动量在大批量条件下具有更高的数据效率，并在固定数据预算下形成三区域批量大小相图，相关结论均通过数值实验得到验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。