arXiv · ML· Ruijia Yang, Shiyuan Lin, Yulong Ao, Zhiyu Li, Yingli Zhao, Xianduo Li, Yonghua Lin, Zeyi Wen·· 2026-10-14AI 评分28
SlideDP: 跨多 GPU 扩展主机驻留式 LLM 微调
SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs
AI 导读
SlideDP 是一款同步数据并行运行时,实现了超越 GPU 显存的全参数 LLM 微调。在匹配批量基准测试中,其吞吐量较 SlideFormer 等基线提升 1.46-2.64 倍。
来源:arXiv · ML · arxiv.org