arXiv · AI· Zehao Wang, Hanzhu Chen, Runquan Gui, Zhe Wang, Lin Yang·· 5 小时前AI 评分35
PICO：解决难题推理中全部 rollout 失效的策略兼容联合解码方法
When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning
AI 导读
当大语言模型在难题上所有 on-policy rollout 均失败时，PICO 提出策略兼容联合解码。该方法在有限发散预算内约束分布，生成既验证正确又兼容策略的轨迹，并与 on-policy rollout 联合优化。PICO 在多样化推理与 agentic benchmark 上持续优于标准 RLVR 及先前 off-policy 基线。
来源：arXiv · AI · arxiv.org