跳到正文
arXiv · AI· Sangdo Han (CEO Business School), Moonsoo Kim (CEO Business School)·· 16 天前AI 评分37

更换裁判改变排名:LLM 裁判系统比较的跨厂商复制预注册研究

Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons

AI 导读

在 4,000 场 Chatbot Arena 对战中,5 个裁判模型的排名未随裁判更换保持稳定,Kendall's tau 中位数仅为 0.67,未支持原假设。

来源:arXiv · AI · arxiv.org