交互 LLM 评估中整体准确率为何会误导比较结果

研究指出在交互 LLM 评估中，仅验证评分器的整体准确率会掩盖特定提示下的错误，导致模型比较结果失真。 该研究使用 6 个模型和 180 个虚构实体问题，发现评分器误判率随提示变化在 2.6% 至 33.3% 之间，表面 9.3 分的提示效应差异在人工复核后降至 2.3 分且区间包含零。 研究者应验证计划报告的具体差异而非评分器整体，需在匹配案例上同时审计两种提示并纳入评分器与人工评估的不确定性。