arXiv · ML· Zhen-Yu Zhang, Jiandong Zhang, Huaxiu Yao, Gang Niu, Masashi Sugiyama·· 17 天前AI 评分39
L2RR方法解决强化学习中数据分布不匹配问题
Dataset Mismatch Matters in Group Relative Policy Optimization for Reinforcement Learning from Verifiable Rewards
AI 导读
L2RR通过优化双层目标显式纳入目标侧性能反馈,改进GRPO在源提示上的离散采样分布。 实验在六个数学推理基准和三种模型规模上验证,L2RR提升了目标域性能并提高了rollout效率。 该方法解决了法律或隐私限制下无法共享目标提示的问题,对RLVR训练具有实用价值。
来源:arXiv · ML · arxiv.org