arXiv · NLP· Mateusz Modrzejewski, Tomasz Radzikowski·· 3 小时前AI 评分31
成对评估的盲点：跨提示词的奖励评分研究
What Pairwise Evaluation Misses: Reward Scores across Prompts
AI 导读
成对评估忽略了提示词间的共享评分成分，该研究对此进行了系统性审计。 在 HelpSteer2 数据集上，6 个奖励模型的跨提示词方差份额为 0.34 至 0.64，而人类评分该份额接近零。 研究建议将跨提示词变化、对错误提示词的敏感度及选择效用作为奖励评估的独立指标。
来源：arXiv · NLP · arxiv.org