离线策略梯度在LLM后训练中的理论框架提出

2026年10月19日，研究人员Cao、Yuan和Xie发布论文，提出离线策略梯度在LLM后训练中的理论分析框架。该研究揭示了大语言模型后训练中离线策略梯度的理论一致性条件。 研究证明，要使最优策略保持稳定，需满足轨迹级重要性加权，或同时采用KL正则化与最优软值基线。此外，该框架还建立了组相对策略梯度与轨迹级Bellman残差最小化目标之间的等价关系。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。