研究提出DLC修正大模型训练推理失配

2026年11月2日，arXiv平台发布一项研究，揭示大语言模型强化学习中训练与推理失配的来源。研究指出，失配由引擎数值差异和策略滞后构成。其中，引擎数值差异产生近似固定偏差，可通过在每条前缀处中心化得分函数消除。 该研究由Yu Li等人提出失配-滞后校正（DLC）方法，专门应对策略滞后导致的反馈回路及训练不稳定问题。在Qwen3-1.7B模型上，当重要性加权的有效样本量小于0.5时失效，而DLC方法能将KL散度控制在两倍独立on-policy训练的KL值之内，相关验证基于Qwen3-0.6B与Qwen3-1.7B模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。