ALTO让GPT-OSS-20B以MXFP4高效训练 收敛开销降至5%
热点事件持续更新
ALTO让GPT-OSS-20B以MXFP4高效训练 收敛开销降至5%
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
【新】开源配方ALTO让GPT-OSS-20B在MLPerf Small MoE基准下以MXFP4格式训练，验证损失较BF16基线仅高0.007，使FP4相对BF16的收敛开销从早先的约20%降至5%，差距缩减约一半。该方案结合随机Hadamard变换与简化权重去振荡，并在AMD MI300上完成模拟验证，目前仍属模拟阶段而非实测部署。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
ALTO 实现 GPT-OSS-20B 在 MXFP4 下高效训练，差距收窄至 5%报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv · AIALTO 实现 GPT-OSS-20B 在 MXFP4 下高效训练，差距收窄至 5%
开源配方 ALTO 让 GPT-OSS-20B 在 MLPerf Small MoE 基准下以 MXFP4 格式训练，验证损失仅比 BF16 基线高 0.007，差距缩减约 50%。 该方案结合随机 Hadamard 变换与简化权重去振荡，使 FP4 相对 BF16 的收敛开销从 20.0% 降至 5.0%，在 AMD MI300 上完成模拟验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。