跳到正文
arXiv · AI· Jiaying Zhou, Jiachen Liu, Qingchao Chen·· 17 天前AI 评分23

GRPO 子组偏移调整:单系数 $\lambda$ 的双向基线优化方法

One Offset, Two Directions: Baseline Adjustment via Subgroup Offsets

AI 导读

GRPO 全局基线掩盖异构子组差异,论文提出子组偏移调整。 通过单一有符号系数 $\lambda$ 调整基线,分为 Alignment 与 Contrast 两个方向。 在 Qwen3-8B 和 Olmo3-7B 上验证,Contrast 方向带来适度且一致的提升。

来源:arXiv · AI · arxiv.org