跳到正文
Hugging Face Blog·· 2021-11-19AI 评分27

Intel 技术加速 PyTorch 分布式微调

Accelerating PyTorch distributed fine-tuning with Intel technologies

AI 导读

在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。

来源:Hugging Face Blog · huggingface.co