跳到正文
arXiv · ML· Ziheng Li, Zexu Sun, Jinman Zhao, Erxue Min, Yongcheng Zeng, Hui Wu, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Xu Chen, Zhi-Hong Deng·· 10 天前AI 评分24

SEELE 通过动态调整 rollout 难度提升 LLM 推理能力

Staying in the Sweet Spot: Boost Reasoning Evolution via Responsive Rollout Difficulty Manipulation

AI 导读

强化学习框架 SEELE 通过动态调整题目难度至高性能区间,解决了现有 RLVR 方法探索效率低下的问题。 该框架在每组训练样本中追加提示并计算最优长度,利用多轮 rollout 采样结合项目反应模型拟合准确率-提示对以预测下一轮提示。 实验显示 SEELE 在六个数学推理 benchmark 上平均超越 GRPO +10.0 分、SFT +8.4 分,较最佳既往方法提升 +3.8 分。

来源:arXiv · ML · arxiv.org