PICO算法解决难题推理全失效问题

Zehao Wang等提出名为PICO的策略兼容联合解码方法，旨在解决大语言模型在难题上所有on-policy rollout均失败时的推理瓶颈。 该方法通过分布约束联合解码实现突破。专家数据在词元级别引导解码，同时保持学生模型的相对词元概率，确保策略兼容性。 PICO采用动态top-k机制，在有限发散预算内约束采样分布，生成既经验证正确又兼容策略的轨迹。 在多样化推理及agentic基准测试中，PICO表现持续优于标准RLVR及先前离策略基线，展示了其在难题推理中的有效性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。