跳到正文
arXiv · AI· Jeff Duan, Matt Thomson·· 16 小时前AI 评分32

ROAM-GRPO: 通过路由离线模式方法挖掘,在 GRPO 中强制执行推理多样性

ROAM-GRPO: Enforcing Reasoning Diversity in GRPO via Routed Off-mode Approach Mining

AI 导读

SFT 与 RLVR 训练会导致 LLM 策略多样性坍缩,使 pass@k 准确率下降。ROAM-GRPO 增强 GRPO 算法,将已解决问题转入离线模式挖掘不同策略并经 LLM 法官验证后自蒸馏。

来源:arXiv · AI · arxiv.org