跳到正文
Hugging Face Blog·· 2021-01-19AI 评分58

Hugging Face 结合 DeepSpeed 和 FairScale 实现 ZeRO 显存优化

Fit More and Train Faster With ZeRO via DeepSpeed and FairScale

AI 导读

Hugging Face 将 DeepSpeed 和 FairScale 的 ZeRO 特性引入 transformers 训练器,支持通过 --sharded_ddp 和 --deepspeed 参数降低显存占用。

来源:Hugging Face Blog · huggingface.co