跳到正文
arXiv · NLP· Rebeca Nam, Chase M. Fensore, Christian A. Fauria-Robinson, Judy Gichoya, Joyce C. Ho·· 10 天前AI 评分30

乳腺X光VLM跨信号一致性评估

Evaluating Cross-Signal Coherence in Mammography Vision-Language Models

AI 导读

在乳腺密度和BI-RADS分类任务中,四个视觉语言模型对图像扰动后的置信度并未降低,且选项乱序会改变多数模型的回答。 研究发现,部分模型自身陈述的推理与最终答案存在矛盾,这种不一致性无法仅通过准确率评估。该结果指出,在评估VLM时,必须结合答案、置信度和解释的一致性来判断其输出可信度。

来源:arXiv · NLP · arxiv.org