arXiv · ML· Tianhua Tao, Akshita Bhagia, Dirk Groeneveld, Pete Walsh, Tyler Romero, Yashas Samaga, Jacob Morrison, Iz Beltagy, Taira Anderson, Noah A. Smith, Hannaneh Hajishirzi·· 3 天前AI 评分25
Olmo-core 重塑训练架构实现高效可扩展 MoE 训练
Supercharging Olmo-core for Efficient and Scalable MoE Training
AI 导读
Olmo-core 更新训练栈以支持可扩展 MoE 训练,采用 DDP 及 Expert Parallelism,避免传统 FSDP 的高吞吐损耗。 支持 1.2 万亿参数在 512 GPU 下达到 858 TFLOP/s/GPU,DeepEP v2 后端可扩展至 2.38 万亿。 提出 Token Gerrymandering 缺陷,发现重叠通信会显著拖慢 Kernel 速度。
来源:arXiv · ML · arxiv.org