Hugging Face Blog·· 2025-08-08AI 评分52
Accelerate 集成 ND-Parallel 支持灵活组合多种并行策略
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
AI 导读
Hugging Face 在 Accelerate 库中集成了 ND-Parallel 功能,允许用户通过 ParallelismConfig 类灵活组合数据并行(DP)、完全分片数据并行(FSDP)、张量并行(TP)和上下文并行(CP)等策略。
来源:Hugging Face Blog · huggingface.co