arXiv · NLP· Guijia Zhang, Harry Yang·2026-10-27 12:00· 3 小时前AI 评分43

LLM 评委版本更迭改变了测量标准而非仅调整评分尺度

LLM-as-a-Judge Version Shift: The Instrument Changed, Not the Standard

AI 导读

研究表明 LLM 评委版本更迭会改变测量标准的几何与分辨率，而非仅调整评分尺度。在 Qwen、Gemma、Mistral 家族中，两次更迭趋向宽松，一次则导致 93% 分数坍缩至单一值。提供相同事实无法消除版本差异，且占位符对照显示效应主要由格式驱动。

来源：arXiv · NLP · arxiv.org