Hugging Face Blog·· 2022-05-02AI 评分33
Accelerate 库结合 PyTorch FSDP 加速大模型训练
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel
AI 导读
Hugging Face 发布 Accelerate 库,支持通过 PyTorch FullyShardedDataParallel(FSDP)以无代码修改方式训练大模型。测试显示,FSDP 在 GPT-2 Large 上将最大批处理大小提升至 DDP 的 2-3 倍,并成功训练了 DDP 因内存溢出无法处理的 GPT-2 XL(1.5B)模型。
来源:Hugging Face Blog · huggingface.co