跳到正文
arXiv · ML· Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen·· 7 天前AI 评分36

基准测试操纵难度:领导榜鲁棒性的社会选择分析

How Hard Is It to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness

AI 导读

研究将基准特定训练视为投票操纵,证明在Borda计数和平均胜率下该问题是NP难的。 针对MMLU和BBH数据集评估,平均胜率最难被操纵,BBH中其中位鲁棒性达22个任务。

来源:arXiv · ML · arxiv.org