arXiv · ML· Xianghao Wang, Johan Barth\'elemy, John Taylor·· 16 小时前AI 评分25
LeMA：一种用于深度学习的大规模分布式 Levenberg-Marquardt 训练框架
Scalable Levenberg-Marquardt Training Framework for Deep Learning
AI 导读
LeMA 提出分布式 LMA 算法，通过精确对偶形式和 Jacobian 分片策略，将内存占用从参数规模的二次方降至 batch size 的二次方。 该框架避免了近似 PCG 求解，使数十亿参数模型可执行精确 LMA 步骤。 在 8-GPU 节点上，LeMA 对 1,000,022,632 参数的 CNN 实现 7.97x 加速，强扩展效率达 99.7%。
来源：arXiv · ML · arxiv.org