arXiv · ML· Kevin Sasso, Chris Fiegel, Francis Aitken, Nicolas Tsingos, Nicholas Tong·· 21 天前AI 评分40
MCCL:利用 Skywalker Sound 的 Mac 集群进行 PyTorch 分布式训练
MCCL: Training Pytorch models across a fleet of Macs at Skywalker Sound
AI 导读
研究者推出 MCCL,这是首个支持多节点 PyTorch 训练的金属通信集合库,解决 Apple MPS 缺乏分布式后端的问题。 MCCL 在 24 个节点测试中,大型 all-reduce 操作达到 TCP 良吞吐量的 98-99.7%。
来源:arXiv · ML · arxiv.org