跳到正文
arXiv · ML· Shreya Ajay Kale, Angad Ripudaman Singh Bajwa·· 7 天前AI 评分48

聚合准确率掩盖了医疗视觉语言模型的诊断特异性失败

Aggregate Accuracy Hides Diagnosis-Specific Failure in Medical Vision-Language Models

AI 导读

审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。

来源:arXiv · ML · arxiv.org