跳到正文
arXiv · ML· Heehoon Kim, Chris Jaehwan Lee, Taejeoung Kim, Jongwon Park, Jinpyo Kim, Pyongwon Suh, Ryan H. Choi, Sangwoo Lee, Jaejin Lee·· 4 天前AI 评分27

HetCCL:在异构厂商 GPU 上实现高效 LLM 训练

HetCCL: Efficient LLM Training on Heterogeneous Vendor GPUs

AI 导读

summary_zh: HetCCL 是一种集合通信库,支持跨 NVIDIA 和 AMD GPU 的 RDMA 通信,无需修改驱动程序。 该库通过集成 NCCL 和 RCCL,在混合环境中实现高效通信,且在与 NCCL 或 RCCL 单独使用的场景中保持同等性能。

来源:arXiv · ML · arxiv.org