arXiv · NLP· Zara Ansari, Shlok Natarajan, Vincent Yip, Cally Lin, Avi Udash, Mia Garvey, Aaron Fanous, Roxana Daneshjou·· 3 天前AI 评分34
医学 LLM 评估中的自我偏好:裁判并非 impartial
The Judge Is Not Impartial: Self-Preference in Medical LLM Evaluation
AI 导读
研究显示 LLM 裁判在医学评估中存在自我偏好,8 个模型在 13,760 次判断中均倾向于给自身生成的答案更高排名或分数。在 Real-POCQi 测试中,合并后的 Answer Rank Bias 为 +1.22 位置,揭示生成者身份仅使该偏倚平均减少 0.094 位置。临床 AI 部署应使用多模型裁判小组以增强评估公正性。
来源:arXiv · NLP · arxiv.org