arXiv · NLP· Meilu Zhu, Xiaohan Li, Axiu Mao·· 2 天前AI 评分32
HindAudit 审计临床 Agent 基准中的后见之明偏差
Where Does Hindsight Enter Clinical Agent Benchmarks? An Audit of Simulators and Case Construction
AI 导读
HindAudit 在 MIMIC-IV 27,489 例急诊病例中发现,基准摘要使 4 个 LLM 零样本准确率从 25.4% 升至 39.7%,病史升至 45.3%。 后见之明主要存在于病例文本中,给模拟器提供诊断对实验室结果泄漏影响微小,掩码诊断名不改变该差距。 由于 MIMIC 缺乏实时病史,该差距被视为后见之明效应的上限。
来源:arXiv · NLP · arxiv.org