跳到正文
arXiv · ML· Mahdi Nazemi, Oleg Rybakov, Tijmen Blankevoort, Asit Mishra, Carlo del Mundo·· 9 天前AI 评分25

利用随机舍入弥合 RL 后训练中 BF16 与 FP16 的收敛速度差距

Closing the BF16-FP16 Convergence Speed Gap in RL Post-Training with Stochastic Rounding

AI 导读

在低学习率的 RL 后训练中,标准 BF16 混合精度训练因权重粘滞导致收敛速度慢于 FP16。 作者提出在将 FP32 影子权重量化为 BF16 时应用随机舍入,该方法在多个模型和数据集上匹配了 FP16 的收敛速度,同时避免了提高学习率带来的 KL 散度增加,且无需损失缩放。

来源:arXiv · ML · arxiv.org