跳到正文
arXiv · ML· Shuo Han, Ziqing Hu·· 2026-10-16AI 评分31

策略梯度估计中基线与分数中心化的作用分析

Baselines and Score Centering in Policy Gradient Estimation

AI 导读

强化学习在大语言模型后训练中常使用重要性采样处理离策略问题,正则化导致策略梯度对奖励常数偏移不再具有不变性。 引入奖励与重要性加权分数的协方差作为估计量可恢复该不变性,并揭示群组均值基线与分数中心化的区别。 序列级重要性采样下分数中心化无额外收益,而词元级重要性采样中缺失分数中心化通常引入偏差。

来源:arXiv · ML · arxiv.org