arXiv · ML· Zejian Wang, Yifan Zhao, Kaihui Ren, Xiaoling Zhou, Yubin Wang, Chenhao Guan, Lin Zhang, Yufeng Li, Zhikang Mo, Zhuoru Ma, Yingtong Xiong, Jihu Guo, Yiqiao Liao, Chengru Song·· 6 小时前AI 评分35
TIDE：基于零拷贝通信的分布式训练优化方案
The Endgame of FSDP Communication: Layout-Aware Collectives on Copy Engines, RDMA, and NVSwitch
AI 导读
TIDE 提出一套基于 NCCL 2.31+ 的零拷贝集合通信原语，用于解决 FSDP2 中的数据布局转换开销问题。 该方案支持 Llama-3.1 70B 等模型，在 64 GPU 规模下最高可将单步训练时间相对原生 FSDP2 降低 27.1%。
来源：arXiv · ML · arxiv.org