arXiv · ML· Shuo Han, Ziqing Hu·· 2026-10-16AI 评分31
策略梯度估计中基线与分数中心化的作用分析
Baselines and Score Centering in Policy Gradient Estimation
AI 导读
强化学习在大语言模型后训练中常使用重要性采样处理离策略问题,正则化导致策略梯度对奖励常数偏移不再具有不变性。 引入奖励与重要性加权分数的协方差作为估计量可恢复该不变性,并揭示群组均值基线与分数中心化的区别。 序列级重要性采样下分数中心化无额外收益,而词元级重要性采样中缺失分数中心化通常引入偏差。
来源:arXiv · ML · arxiv.org