arXiv · AI· Gengyu Rao, Ghadeer Ahmed H Alabandi, Su Ann Chong, Thomas Huber, Kailash Gogineni, Subhajit Dutta Chowdhury, Saleel Kudchadker, Suchita Pati, Zirui Zhang, Zhen Huang, Yanyuan Qin, Xiaoming Peng, Lihuan Zhang, Botao Hu, Wei Huang, Yang Bo, Wen Xie, Xiangyu Zhao, Ruibin Zhang, Xiaobo Chen, Vidushi Goyal, Anshu Raina, Claire Songhyun Lee, Jiakun Yan, Yao Fu, Nusrat Islam, Ravi Dwivedula, Jie Zhang, Maria Garzaran, Zhenyu Gu, Emad Barsoum·· 8 小时前AI 评分22
AMD GPU LLM 训练实现层级数据流水优化
Scheduling Data to Compute: Hierarchical Data Pipelining for LLM Training on AMD GPUs
AI 导读
该 AMD LLM 训练系统利用 TDM、转置加载及 SDMA/RDMA 指令实现数据移动与计算重叠，消除等待瓶颈。 kernel 级测试中 TDM 平均加速 1.88 倍，转置加载加速 1.19 倍；通信重叠下 SDMA 和 RDMA 分别实现 1.16 倍和 1.33 倍加速。 这是首个利用所有 GPU 数据流水特性的 AMD LLM 训练系统，相关实现已集成到开源框架和库中。
来源：arXiv · AI · arxiv.org