跳到正文
arXiv · ML· Mianjie Yu, Zhongmin Zhao, Zizhao Mo, Jianxiong Liao, Wenxuan Li, Yulin Qiao, Huanle Xu, Wenquan Yang, Yongqiang Yang, Zeren Li, Ruifeng Tang, Chengzhong Xu·· 2026-10-16AI 评分30

ETH:面向大模型训练的异构流水线并行方法

ETH: Data-Balanced Heterogeneous Pipeline Parallelism for Training Large Models

AI 导读

ETH 训练系统通过提出异构流水线并行(HPP)方法,在异构流水线间实现细粒度数据平衡,取得最高 2 倍训练加速。 该系统采用分层工作负载平衡框架优化异构流水线及单阶段内部平衡,并结合块级梯度聚合降低非对称 All-Reduce 通信开销。 相比最先进系统,其配置生成开销降低最多达 56 倍,代码已公开。

来源:arXiv · ML · arxiv.org