跳到正文
arXiv · AI· Zhengyuan Fan, Zhonghua Wu, Tianyu Cheng, Qun Chen·· 13 小时前AI 评分24

基于 Rubric 的奖励聚合中奖励增益不平衡如何影响排序

How Reward Gain Imbalance Shapes Ranking: Rethinking Rubric-Based Reward Aggregation

AI 导读

基于 Rubric 的强化学习通常等权聚合评分,但评分异质性会扭曲候选排序。研究发现,消除奖励增益不平衡反而降低排序准确率,误排主要集中在该项削弱基础信号的样本对。 该方法提出自适应 DCC 聚合,通过设定裁剪区间限制单准则贡献度,在保留连续判断信息的同时抑制极端分影响。

来源:arXiv · AI · arxiv.org