论文提出验证LLM评估中对比差异的方法

1. 12:00
   arXiv · AI

   交互 LLM 评估中整体准确率为何会误导比较结果

   研究指出在交互 LLM 评估中，仅验证评分器的整体准确率会掩盖特定提示下的错误，导致模型比较结果失真。 该研究使用 6 个模型和 180 个虚构实体问题，发现评分器误判率随提示变化在 2.6% 至 33.3% 之间，表面 9.3 分的提示效应差异在人工复核后降至 2.3 分且区间包含零。 研究者应验证计划报告的具体差异而非评分器整体，需在匹配案例上同时审计两种提示并纳入评分器与人工评估的不确定性。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。