arXiv · NLP· Zixuan Xu, Haoxuan Chen, Jiangxin Sun, Jian-Fang Hu·· 3 小时前AI 评分26
GPDPO: 基于群体帕累托占优策略优化的多奖励强化学习
GPDPO: Learning from Reward Conflicts via Group Pareto-Dominance Policy Optimization
AI 导读
提出GPDPO多奖励策略优化方法，从冲突过滤的采样响应中恢复成对监督信号，联合优化原策略目标。 该方法无需额外采样或奖励评估，在API-Bank基准测试中，GPDPO持续优于竞争性多奖励优化基线。 实验证明GPDPO有效降低群体相对及成对奖励冲突，提升多奖励对齐效果，代码将开源。
来源：arXiv · NLP · arxiv.org