arXiv · ML· Steve Rhyner, Yubo Gao, Stefan de Lasa, Sankeerth Durvasula, Nandita Vijaykumar·· 3 天前AI 评分24
CertiSum: 跨平台与并行布局下位级一致的 MXFP4 训练
CertiSum: Bitwise-Identical MXFP4 Training Across Platforms and Parallelism Layouts
AI 导读
CertiSum 实现 MXFP4 训练在并行布局与 GPU 厂商间的位级一致性,通过统计认证与精确重算解决非确定性问题。 在 Qwen3-8B 实验中,CertiSum 在 AMD MI350X 与 NVIDIA GB200 上保持训练状态位级一致,跨数据、张量、上下文并行变更无损。
来源:arXiv · ML · arxiv.org