arXiv · AI· Xiang Zhang, Lovedeep Gondara, Jekaterina Novikova·· 2026-10-16AI 评分40
无标签评估的盲区:一致性与准确性的解耦现象研究
When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation
AI 导读
研究在四个金融问答数据集发现,60%的错误答案处于高一致性区间,其中77.7%表现为完全答案坍塌。 该现象对一致性阈值t从0.50至1.00均稳健存在,且跨模型族共享,集中于特定扰动维度与领域交叉点。 此类高一致但错误的象限无法被仅基于一致性信号的评估管道检测,模型看似最可靠实则错误。
来源:arXiv · AI · arxiv.org