arXiv · ML· Haoqun Cao, Yurun Yuan, Tengyang Xie·· 7 小时前AI 评分38
离线策略梯度在 LLM 后训练中的理论分析：重要性采样、KL 正则化与基线
Anatomy of Off-Policy Policy Gradient: Importance Sampling, KL Regularization, and Baselines
AI 导读
研究揭示了大语言模型后训练中离线策略梯度的理论一致性条件。 证明最优策略保持稳定需满足轨迹级重要性加权或 KL 正则化加最优软值基线。 将组相对策略梯度（GRPG）与轨迹级 Bellman 残差最小化目标建立等价关系。
来源：arXiv · ML · arxiv.org