跳到正文
机器之心·· 5 小时前AI 评分38

阿里千问提出 TRACE:FP4 强化学习 Rollout 最高加速 5.4 倍

FP4 W/A+FP4 KV的强化学习也能「又快又稳」:阿里千问提出TRACE,Rollout最高加速5.4倍

AI 导读

阿里千问联合俄亥俄州立大学提出 TRACE 方法,通过训练侧对齐 Rollout 的 FP4 量化结果,解决 MoE 模型 RL 训练中的数值偏差问题。 在 Qwen3.5 及 Qwen3.8 系列模型上,TRACE 将 128K 输出场景下的解码吞吐提升最高 5.4 倍,最终 FP4 policy 平均分达 75.3。

来源:机器之心 · mp.weixin.qq.com