跳到正文
arXiv · AI· Sihao Ding, Santosh Vasa, Aditi Ramadwar, Thomas Monninger·· 2 天前AI 评分31

EDCT 揭示视觉语言模型中的忠实度差距

Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing

AI 导读

解释驱动的反事实测试(EDCT)协议揭示视觉语言模型存在显著忠实度差距,模型常产生与验证过的视觉变化不一致的回应。该协议通过提取解释中引用的视觉概念并施加最小编辑来测试一致性,EDCT-Bench 涵盖 OK-VQA、DriveLM 和 3DSRBench 三个领域。 微调研究表明 EDCT 生成的反事实实例提供高影响力训练信号,论文已被 WACV 2027 接收。

来源:arXiv · AI · arxiv.org