arXiv · ML· Kuan-Wei Lu, Ding-Yong Hong, Pangfeng Liu, Jan-Jan Wu·· 14 天前AI 评分22
混合双批次与循环渐进学习优化CNN分布式训练效率
Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training of Convolutional Neural Networks
AI 导读
在参数服务器框架上提出的混合双批次与循环渐进学习方法,旨在平衡CNN大模型分布式训练的效率与泛化能力。 方法通过结合硬件支持的最大批次以利用计算资源,同时引入较小批次以提升模型泛化;配合循环渐进学习逐步增加图像分辨率以压缩训练时间。 在ResNet-18实验评估中,该方法使CIFAR-100准确率提升3.3%、训练时间缩短10.1%,并将ImageNet训练时间缩减34.7%。
来源:arXiv · ML · arxiv.org