arXiv · AI· Andrew Gao, William Gao·· 18 天前AI 评分40
BF16 舍入静默丢弃大部分 RL 策略更新:一种隐形的训练推理不匹配及无偏一行修复
bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix
AI 导读
Qwen3 模型在 RL 后训练中,BF16 舍入导致每步仅 0.4%-0.5% 权重更新,造成 50-150 步滞后。 Fair Cast 方案通过无偏舍入修复此问题,在 1.7B 参数导出上仅增加 22-38ms 耗时。 在 25 组匹配种子测试中,平均增益 6.1 分,使 0.6B 至 4B 模型训练一致性显著提升。
来源:arXiv · AI · arxiv.org