arXiv · AI· Yu Li, Yufa Zhou, Tian Lan·· 4 小时前AI 评分25
大语言模型强化学习中训练-推理失配的来源与演化
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
AI 导读
研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差，可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定，在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效；提出的失配-滞后校正（DLC）将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。
来源：arXiv · AI · arxiv.org