arXiv · ML· Heehoon Kim, Chris Jaehwan Lee, Taejeoung Kim, Jongwon Park, Jinpyo Kim, Pyongwon Suh, Ryan H. Choi, Sangwoo Lee, Jaejin Lee·· 4 天前AI 评分27
HetCCL:在异构厂商 GPU 上实现高效 LLM 训练
HetCCL: Efficient LLM Training on Heterogeneous Vendor GPUs
AI 导读
summary_zh: HetCCL 是一种集合通信库,支持跨 NVIDIA 和 AMD GPU 的 RDMA 通信,无需修改驱动程序。 该库通过集成 NCCL 和 RCCL,在混合环境中实现高效通信,且在与 NCCL 或 RCCL 单独使用的场景中保持同等性能。
来源:arXiv · ML · arxiv.org