跳到正文
arXiv · ML· Xuanchang Zhang, Tong Zhang·· 2026-10-16AI 评分33

提出Gibbs-Gap策略优化以解决离策略强化学习中可验证奖励的方差问题

Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards

AI 导读

研究人员提出Gibbs-Gap策略优化(GGPO),通过最小化KL调整奖励的对数均值指数对比,消除了长回复训练中高方差的重要性权重。 消融实验显示,固定参考下的GGPO在五项基准加权平均中得分为32.96,默认刷新调度下得分提升至46.58。 GGPO在训练推理不匹配及固定离线数据场景下优于GRPO和AGRO,并在策略陈旧度增加时保持性能稳定。

来源:arXiv · ML · arxiv.org