研究揭示 GRPO 偏差并提出 HA-DW 校正方案

近期研究指出，GRPO 等组相对方法在奖励后训练中，硬提示正确答案被低权重，易提示错误答案惩罚不足，导致优势估计存在偏差。2026年11月2日，相关论文在 arXiv cs.lg 领域发布，作者提出 History-Aware Adaptive Difficulty Weighting（HA-DW）自适应重加权方案。该方案通过动态难度锚点校正偏差，旨在提升强化学习验证奖励训练的鲁棒性与效率。研究在五个数学推理基准测试中验证了该方案的性能提升。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。