arXiv · AI· Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum·· 5 小时前AI 评分34
ALTO 实现 GPT-OSS-20B 在 MXFP4 下高效训练，差距收窄至 5%
Training an MoE LLM in MXFP4: How We Closed the Gap to BF16
AI 导读
开源配方 ALTO 让 GPT-OSS-20B 在 MLPerf Small MoE 基准下以 MXFP4 格式训练，验证损失仅比 BF16 基线高 0.007，差距缩减约 50%。 该方案结合随机 Hadamard 变换与简化权重去振荡，使 FP4 相对 BF16 的收敛开销从 20.0% 降至 5.0%，在 AMD MI300 上完成模拟验证。
来源：arXiv · AI · arxiv.org