arXiv · ML· Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu·· 10 小时前AI 评分45
RoundPipe 实现消费级 GPU 多卡高效 LLM 微调
Efficient Training on Multiple Consumer GPUs with RoundPipe
AI 导读
RoundPipe 提出一种新流水线调度方案，打破权重绑定限制，在多张消费级 GPU 上实现 LLM 高效微调。 在 8 张 RTX 4090 上微调 1.7B 至 32B 模型，速度提升 1.48–2.16 倍。 支持 Qwen3-235B 模型在 31K 序列长度下进行 LoRA 微调；已开源为 Python 库。
来源：arXiv · ML · arxiv.org