arXiv · ML· Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban·· 5 小时前AI 评分37
研究揭示 GRPO 组相对优势估计存在偏差
Your Group-Relative Advantage Is Biased
AI 导读
研究指出 GRPO 等组相对方法在奖励后训练中，硬提示正确答案被低权重，易提示错误答案惩罚不足。 作者提出 History-Aware Adaptive Difficulty Weighting（HA-DW）自适应重加权方案，并在五个数学推理基准测试中验证其性能提升。 该方案通过动态难度锚点校正偏差，提升强化学习验证奖励训练的鲁棒性与效率。
来源：arXiv · ML · arxiv.org