跳到正文
arXiv · ML· Tao Wang, Shuo Li, Yan Sun, Dongsheng Ding, Edgar Dobriban·· 21 天前AI 评分29

HORA:基于命中效用的无学习 RLVR 组级 Rollout 分配策略

Where to Spend Rollouts: Hit-Utility Optimal Rollout Allocation for Group-Based RLVR

AI 导读

HORA 提出了一种无学习的 rollout 分配策略,旨在通过最大化总后验命中效用,解决 GRPO 等基于组策略优化方法中 rollout 分配不均导致的计算效率低下问题。

来源:arXiv · ML · arxiv.org