arXiv · NLP· Louise Yorke·· 3 小时前AI 评分34
Arena-Hard LLM 评测中 GPT-4.1 裁判的稳定性与指令敏感性分析
Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals
AI 导读
研究使用 500 条 Arena-Hard v2.0 prompts 和 GPT-4.1 裁判模型，发现相同设置重跑时 21.2% 的样本胜负结果会改变，但总分仅波动约 1 分。 不同指令组合导致结果差异显著：某些简化指令使 28.2 个样本的结果改变且总分下降 4.09 分，而另一组指令则保持总分稳定。 稳定的总分掩盖了个体判决的可重复性问题，评估应同时报告总分与 prompt 级别一致率。
来源：arXiv · NLP · arxiv.org