arXiv · NLP· Xiangchi Yuan, Xingjian Diao, Zheyuan Liu, Chunhui Zhang, Dachuan Shi, Kejing Xia, Zhenbang Du, Shenglong Yao, Soroush Vosoughi, Wenke Lee·· 3 小时前AI 评分23
提出保优先级优势聚合方法 PAPO 优化多奖励 LLM 后训练
Priority-Preserving Advantage Aggregation for Multi-Reward Policy Optimization
AI 导读
针对 LLM 后训练中多奖励优先级倒置问题，论文提出保优先级优势聚合方法 PAPO。 PAPO 通过非对称融合主辅优势，在目标一致时保留辅助监督，冲突时平滑衰减并保留主要符号以维持主要一致性排序，适用于 GRPO 和 PPO。 实验显示 PAPO 在多个领域和模型中始终取得最佳主要目标，并保持辅助目标的最优或竞争性性能。
来源：arXiv · NLP · arxiv.org