LLM评委版本更迭改变测量几何与分辨率

Guijia Zhang与Harry Yang发布了预注册研究报告，探讨LLM评委版本更迭对测量标准的影响。研究人员审计了14882次评委调用，发现版本更迭不仅调整评分尺度，更改变了测量标准的几何结构与分辨率。 研究发现，在Qwen、Gemma和Mistral等模型家族中，两次版本更迭趋向宽松，而另一次更迭导致93%的分数坍缩至单一值。研究指出，即使提供相同的事实，也无法消除版本间的差异。 进一步的占位符对照分析显示，观察到的效应主要由格式驱动。研究团队已公开六个预注册锁及完整的审计日志，以增强结果的可复现性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。