跳到正文
Hugging Face Blog·· 2022-10-21AI 评分35

从 PyTorch DDP 到 Accelerate 再到 Trainer:轻松掌握分布式训练

From PyTorch DDP to Accelerate to Trainer, mastery of distributed training with ease

AI 导读

该教程以 MNIST 训练为例,展示了如何在 PyTorch 中实现分布式训练。 它通过三个抽象层级演示:使用原生 PyTorch 的 `torch.distributed` 模块,利用 🤗 Accelerate 的轻量级包装器实现跨设备最小化代码修改,以及使用 🤗 Transformers 的高层 Trainer API 抽象样板代码。

来源:Hugging Face Blog · huggingface.co