跳到正文
arXiv · ML· Wengee Zhang·· 24 天前AI 评分33

MXFP8 强化学习在 Blackwell 上的端到端表现:一致性、速度与失效分析

End-to-End MXFP8 Reinforcement Learning on Blackwell: What Matching Buys, When It Pays Off, and How It Fails

AI 导读

MXFP8 强化学习在 Blackwell B200 上实现端到端训练,MoE 模型训练时间缩短 10.7%,生成时间缩短 24%。 在 Qwen3-30B-A3B 模型上,匹配网格采样器使 train-rollout KL 降低 11%–16%;短序列密集工作负载速度下降 5%。 七项权重同步条件中五项失败是静默的,CPU 故障注入测试复现了其中五项。

来源:arXiv · ML · arxiv.org