arXiv · ML· Junyi Gao, Yu Shi, Pingzhao Hu, Ewen M Harrison·· 17 天前AI 评分30
当奖励依赖组时,GRPO 进行锦标赛:Team-GRPO 的提出与理论分析
When Rewards Depend on the Group, GRPO Plays a Tournament
AI 导读
论文指出当奖励依赖组内其他样本时,GRPO 因引入负相关基线导致模型进行零和竞争,易致多样性崩塌。 团队提出的 Team-GRPO 将系数设为 +1,作为无偏估计器仅需每组两个样本,无需额外调用模型计算成对奖励。 在 GlobalOpinionQA 上,Team-GRPO 将错误率从 0.20 降至 0.08,避免了 GRPO 的多数答案坍缩,显著提升了集合效用。
来源:arXiv · ML · arxiv.org