arXiv · NLP· Drake Benjamin Brown, Khushbu Pahwa, Yubin Ge, Salvatore Romeo, Akhil Agnihotri, Yi Zhang, Xiaofei Ma, Daniele Bonadiman·· 8 小时前AI 评分35
Agent-as-a-judge 评估中的确认偏误研究
Grounded but Not Immune: Confirmation Bias in Agent-as-a-judge
AI 导读
研究证实，单一虚假预筛选笔记可推翻最多40%的工具型Agent-as-a-judge正确判决。 该现象在四个评估者与五个数据集上验证。两个Claude评估者主要失效模式为过度信任（占67-75%）。
来源：arXiv · NLP · arxiv.org