跳到正文
arXiv · ML· Dongyeop Lee, Namhoon Lee·· 10 天前AI 评分30

FRESCO:一种用于异步流水线并行训练的一致性控制方法

FRESCO: A Novel Consistency Control for Asynchronous Pipeline Parallel Training

AI 导读

FRESCO通过约束优化解决异步流水线训练中的梯度不一致问题,旨在以最小更新修改维持前向等价性。 在LLM预训练中,FRESCO优于代表性基线;流水线深度达32时,比最强基线少43%迭代次数和30%实际耗时,且内存开销减少8至921倍。 该工作为高利用率流水线并行训练奠定了基础,为资源受限系统上的大规模模型开发提供可扩展路径。

来源:arXiv · ML · arxiv.org