跳到正文
arXiv · ML· Kevin Sasso, Chris Fiegel, Francis Aitken, Nicolas Tsingos, Nicholas Tong·· 21 天前AI 评分40

MCCL:利用 Skywalker Sound 的 Mac 集群进行 PyTorch 分布式训练

MCCL: Training Pytorch models across a fleet of Macs at Skywalker Sound

AI 导读

研究者推出 MCCL,这是首个支持多节点 PyTorch 训练的金属通信集合库,解决 Apple MPS 缺乏分布式后端的问题。 MCCL 在 24 个节点测试中,大型 all-reduce 操作达到 TCP 良吞吐量的 98-99.7%。

来源:arXiv · ML · arxiv.org