arXiv · ML· Jia-Nan Wang, Zixun Huang, Kairui Li, Zilin Wang, Lei Wu·· 5 小时前AI 评分20
动量在大批量训练中的作用：Polyak 扩大临界批量大小，Nesterov 提升数据效率
Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
AI 导读
Polyak 动量将临界批量大小扩大至 min{1, B(1-β)}，Nesterov 动量在大批量下数据效率更高。 两者在固定数据预算下形成三区域批量大小相图，数值实验验证了稳定性边界与风险动态。
来源：arXiv · ML · arxiv.org