跳到正文
arXiv · AI· Zihan Chen, Lei Nico Zheng, Di Zhu·· 9 天前AI 评分32

AI 并没有变笨,是我们变得更挑剔:人类对大语言模型评估标准持续上升

AI Isn't Getting Dumber, We're Getting Pickier: Rising Standards in Human Evaluation of Large Language Models

AI 导读

基于 Chatbot Arena 126 万次盲投数据,对未变更模型对的人类评估中“两者都差”比例每月上升 1.71 个百分点。 相对模型排名在 2024 年保持平稳,但绝对评判标准随行业进步同步提高。 评估漂移影响 LLM 排行榜及用于模型训练的人类反馈有效性。

来源:arXiv · AI · arxiv.org