跳到正文
arXiv · AI· Kai Yamashita, Shohei Taniguchi, Hiroki Furuta, Masahiro Suzuki, Yutaka Matsuo·· 3 天前AI 评分26

POLPO 通过帕累托排序实现多验证器策略优化

Policy Optimization With Multiple Verifiers via Pareto Rankings

AI 导读

研究团队提出 Partial-Order Likelihood Policy Optimization (POLPO),利用帕累托主导解决多验证器场景下的策略优化难题。该方法扩展了直接偏好优化的列表似然,无需构建聚合标量奖励,直接学习验证产生的比较关系。在代码生成与指令遵循实验中,POLPO 展示了比标量奖励训练更高的学习效率及完整需求满足率。

来源:arXiv · AI · arxiv.org