arXiv · AI· Faeze Moradi Kalarde, Armin Toroghi, Nam Ho Koh, Doo Hwan Hwang, Seungjin Kim, Kee-Eung Kim, Scott Sanner·· 5 小时前AI 评分34
AdaRoll-GRPO：基于贝叶斯自适应 MDP 优化 GRPO 训练的 rollout 分配
Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training
AI 导读
AdaRoll-GRPO 提出基于 Bayes-adaptive MDP 的自适应 rollout 分配策略，在固定总预算下提升 GRPO 训练性能。该策略将难度感知分配建模为序贯决策问题，离线计算策略避免在线优化开销。实验在多个推理数据集和 LLM 架构上验证了该方法优于标准 GRPO。
来源：arXiv · AI · arxiv.org