跳到正文
Hugging Face Blog·· 2022-06-28AI 评分30

Hugging Face Accelerate 如何使用 DeepSpeed ZeRO 加速大模型训练

Accelerate Large Model Training using DeepSpeed

AI 导读

Hugging Face Accelerate 库支持通过 DeepSpeed ZeRO 实现大模型训练,无需修改代码即可利用 2 块 NVIDIA Titan RTX GPU 运行 900M 参数的 microsoft/deberta-v2-xlarge-mnli 模型。

来源:Hugging Face Blog · huggingface.co