跳到正文
arXiv · AI· Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell, Dirk Hovy·· 7 天前AI 评分41

基于偏好模型评估易受操纵:排行榜作弊研究

Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation

AI 导读

Arena 排行榜等基于 Bradley-Terry 模型的偏好评估易受恶意操纵。 策略投票、策略提示和策略提名可将模型排名提升 15-20 位,组合使用最高提升 45 位。 此漏洞适用于所有允许开放提示、投票或模型提交的偏好评估框架。

来源:arXiv · AI · arxiv.org