研究揭示奖励模型跨提示评分变异性

2026年10月22日，研究者 Mateusz Modrzejewski 和 Tomasz Radzikowski 在 arXiv 发布论文《What Pairwise Evaluation Misses: Reward Scores across Prompts》。研究指出，现有成对评估方法忽略了不同提示词之间共享的评分成分，对这一盲区进行了系统性审计。 针对 HelpSteer2 数据集，该研究分析了 6 个奖励模型的表现，发现其跨提示词方差份额在 0.34 至 0.64 之间。相比之下，人类评分在该维度的份额接近零，表明奖励模型在跨提示一致性上存在显著偏差。 基于上述发现，作者建议将跨提示词变化量、对错误提示的敏感度以及选择效用，确立为评估奖励模型的独立指标，以弥补传统评估维度的缺失。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。