arXiv · AI· Griffin Farrow, Lily Sijia Li, Jack Johnson, Tingyan Wang, Philip Torr, William Bolton, Fabio J. Fehr·· 5 小时前AI 评分35
基于评分标准的医疗大语言模型评估存在系统性盲区
When Rubrics Fail: Hallucinations Reveal Blind Spots in Medical AI Evaluation
AI 导读
基于 MedHallu 及 HealthBench 等数据集的研究发现,目前主流的医疗 AI 评分标准方法存在系统性盲区,未能有效捕捉相关幻觉错误。 该研究指出,评分标准在检查明确事实时较为有效,但难以识别计划外或额外的错误。引入检索型事实性检查可修复部分评分标准无法检测的盲区。
来源:arXiv · AI · arxiv.org