arXiv · NLP· Vineet Kumar, Darshita Rathore, Anindya Moitra·· 2026-10-09AI 评分41
重新思考 LLM 评委可靠性:并非所有裁决都等价
All Verdicts are Not Equal: Rethinking LLM Judge Reliability
AI 导读
LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。
来源:arXiv · NLP · arxiv.org