arXiv · AI· Jian Yang, Peilin Liu, Xiaohan Li, Songda Li, Yu Cao, Yuqing Feng, Haomin Li·· 1 天前AI 评分25
罕见病诊断 LLM 评估伪影与数据泄露审计
Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis
AI 导读
针对罕见病诊断 LLM 系统的高风险偏差，研究利用 6 万余病例实证量化评估伪影与数据泄露影响。 强制跨数据集隔离使 Recall@1 从 54.3% 降至 40.3%，监督分类准确率从 42.9% 跌至 16.7%。 提出结合严格数据隔离与标准基准保护的评估框架，以验证模型的真实临床稳健性。
来源：arXiv · AI · arxiv.org