Hugging Face Blog·· 2021-01-19AI 评分58
Hugging Face 结合 DeepSpeed 和 FairScale 实现 ZeRO 显存优化
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI 导读
Hugging Face 将 DeepSpeed 和 FairScale 的 ZeRO 特性引入 transformers 训练器,支持通过 --sharded_ddp 和 --deepspeed 参数降低显存占用。
来源:Hugging Face Blog · huggingface.co