跳到正文
arXiv · AI· Daniele Kopyshevskiy (MLIA), Benjamin Th{\'e}rien (Mila, UdeM), Nicolas Pinto (MLIA), Edouard Oyallon (MLIA)·· 4 天前AI 评分25

LACCO:通过计算通信重叠实现局部累加训练方法

LACCO: Local Accumulation with Computation--Communication Overlap

AI 导读

提出LACCO算法,通过局部累加与计算通信重叠,避免外层更新滞后,保持全局一致性。 在FineWeb预训练中优于DiLoCo变体,模型扩展至0.5B参数、最多16个worker时性能增益稳健,额外计算与内存开销可忽略。 该算法为低带宽环境下的语言模型分布式训练提供收敛保证,显著降低同步开销。

来源:arXiv · AI · arxiv.org