摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，聚焦万卡级集群万亿参数 MoE 模型训练。 项目已在实际预训练中实现高 MFU 与长稳训练，支持 blockwise FP8 训练及 DeepEP 与 ACE 异步通信引擎。 该系统支持预训练与强化学习场景，能结合 slime、miles 框架及 SGLang，提升大规模训练效率。