跳到正文
arXiv · NLP· Laur\`ene Vaugrante, Thilo Hagendorff·· 2026-10-06AI 评分44

LLM-as-a-Judge 设计选择对评估结果的影响:提示词、评分量表与模型的实证对比

How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models

AI 导读

评估显示 LLM-as-a-Judge 整体可靠,但在 1-7 分制上平均绝对偏差达 0.11,毒性判断准确率超 96.5%。 设计选择会导致显著偏差:修改评分量表可使偏差变化 0.93 分,详细提示词降低 28.9 个百分点,切换模型降低 56.1 个百分点。 模型身份是方差的主要来源,该发现为构建更稳健的 LLM 评估流程提供了方法参考。

来源:arXiv · NLP · arxiv.org