arXiv · AI· Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell, Dirk Hovy·· 7 天前AI 评分41
基于偏好模型评估易受操纵:排行榜作弊研究
Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation
AI 导读
Arena 排行榜等基于 Bradley-Terry 模型的偏好评估易受恶意操纵。 策略投票、策略提示和策略提名可将模型排名提升 15-20 位,组合使用最高提升 45 位。 此漏洞适用于所有允许开放提示、投票或模型提交的偏好评估框架。
来源:arXiv · AI · arxiv.org