arXiv · NLP· Arnisa Fazla, Alberto Testoni, Ameen Abu-Hanna, Barbara Plank, Iacer Calixto·· 3 天前AI 评分21
临床视觉问答模型不确定性估计并非安全网,但可预判模型失效
Uncertainty Is Not a Safety Net for Clinical VQA, but Can It Anticipate Model Failure?
AI 导读
对12个VLM的8种UE方法基准测试发现,UE质量随模型准确率下降而恶化,无法在模型最薄弱处提供可靠信号。在NOTA扰动测试中,模型准确率崩塌但不确定性几乎不变,导致系统性失准。未扰动输入下的不确定性仍能可靠预判哪些预测在扰动下会失效,证明UE具备诊断模型脆弱性的价值。
来源:arXiv · NLP · arxiv.org