跳到正文
arXiv · ML· Ruijia Yang, Shiyuan Lin, Yulong Ao, Zhiyu Li, Yingli Zhao, Xianduo Li, Yonghua Lin, Zeyi Wen·· 2026-10-14AI 评分28

SlideDP: 跨多 GPU 扩展主机驻留式 LLM 微调

SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs

AI 导读

SlideDP 是一款同步数据并行运行时,实现了超越 GPU 显存的全参数 LLM 微调。在匹配批量基准测试中,其吞吐量较 SlideFormer 等基线提升 1.46-2.64 倍。

来源:arXiv · ML · arxiv.org