arXiv · AI· Sangdo Han (CEO Business School), Moonsoo Kim (CEO Business School)·· 16 天前AI 评分37
更换裁判改变排名:LLM 裁判系统比较的跨厂商复制预注册研究
Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons
AI 导读
在 4,000 场 Chatbot Arena 对战中,5 个裁判模型的排名未随裁判更换保持稳定,Kendall's tau 中位数仅为 0.67,未支持原假设。
来源:arXiv · AI · arxiv.org