arXiv · ML· Yijing Ke, Tianle Cai, Ruosong Wang·· 5 小时前AI 评分22
LLM 强化学习数值稳定性：在 RoPE、SwiGLU 和残差 RMSNorm 位置对齐舍入以解决训练崩溃
Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning
AI 导读
在 Qwen 模型中，将训练端舍入位置与推理端在 RoPE、SwiGLU、残差 RMSNorm 三处对齐，可防止 BF16 强化学习训练崩溃。 对齐操作保留特定中间结果为 FP32，不改动推理引擎、矩阵乘法/注意力算子或学习目标；仅对齐 RoPE 路径也能稳定训练。
来源：arXiv · ML · arxiv.org