奖励模型性能掩盖社会对齐偏见

研究表明，当前奖励模型在大型语言模型对齐中表现出的强大基准性能，可能掩盖其社会行为差异。分析指出，避免某些刻板印象有时会以牺牲上下文保真度为代价，且标准基准分数与社会对齐行为之间存在关联不一致的现象。这一结果激励研究者对奖励模型中编码的社会偏好进行更直接的评估，以超越标准基准的局限。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。