arXiv · ML· Rasool Fakoor, Murdock Aubry, Nicholas Stranges, Alexander J. Smola·· 9 小时前AI 评分26
利用批次自适应目标 P3O 解决 RL 后训练中的策略匹配问题
Let the Batch Decide, On- or Off-Policy: Effective Sample Size for RL Post-Training
AI 导读
P3O 方法在 Qwen3-8B-Base 的数学推理任务中避免 GRPO 后期崩塌，表现优于调优基准线。 该方法用每 token 策略比率的归一化有效样本量替代固定裁剪范围，不引入新超参数。 通过让批次数据决定策略更新强度，增强了大模型 RL 后训练的稳定性。
来源：arXiv · ML · arxiv.org