跳到正文
arXiv · AI· Chaitali Deb Purkayastha, Bharath Kumar Bolla, Vishnu Surya Reddy Nandi·· 2026-10-14AI 评分33

超越准确率:临床 LLM 评估中的反事实脆弱性与人口统计学偏差

Beyond Accuracy: Counterfactual Fragility and Demographic Bias in Clinical Evaluation of LLMs

AI 导读

研究在150道MedQA题目上评估六个LLM,发现准确率无法反映模型的反事实一致性与人口统计鲁棒性。MedGemma 27B准确率最高(87.1%)且反事实有效性最佳,但20.3%的回答随人口前缀改变,且存在大量刻板印象标记。结果支持安全筛查,但未确立临床部署能力。

来源:arXiv · AI · arxiv.org