跳到正文
arXiv · ML· Jiacheng Xu, Shuo He, Fuxiang Zhang, Chaojie Wang, Bo An·· 7 天前AI 评分32

Negative-Only Policy Optimization (NOPO) 用于单边可验证奖励强化学习

Negative-Only Policy Optimization for One-Sided Verifiable Rewards

AI 导读

NOPO 通过抑制可信的验证负例更新策略,解决单边可验证性(OSV)下标准 RLVR 不可靠的问题。 该方法结合参考相对负抑制损失和组级适配器,将验证正例视为未标记数据,避免奖励捷径。 在代码、逻辑和数学基准上,当 oracle 奖励不可用时,NOPO 提升了 pass@k 表现。

来源:arXiv · ML · arxiv.org