跳到正文
Hugging Face Blog·· 2022-05-02AI 评分33

Accelerate 库结合 PyTorch FSDP 加速大模型训练

Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel

AI 导读

Hugging Face 发布 Accelerate 库,支持通过 PyTorch FullyShardedDataParallel(FSDP)以无代码修改方式训练大模型。测试显示,FSDP 在 GPT-2 Large 上将最大批处理大小提升至 DDP 的 2-3 倍,并成功训练了 DDP 因内存溢出无法处理的 GPT-2 XL(1.5B)模型。

来源:Hugging Face Blog · huggingface.co