arXiv · AI· Bin Duan, Jintao Lin, Guowei Yang·· 6 小时前AI 评分28
VLTest 发现视觉语言模型中的图文联合失效
VLTest: Finding Joint Image-Text Failures in Vision-Language Models
AI 导读
研究提出一种黑盒视觉语言模型（VLM）测试方法 VLTest，用于发现图文联合失效。 该方法通过编辑 VQGAN 隐代码生成图像变体，并利用改写-扩展-剪枝管道生成文本变体，确保每个联合失效具备四个匹配单元。 在 3 项任务和 8 个 VLM 的测试中，模型识别器对候选项的确认率为 81.7%，相比 SINVAD 和 TextFooler 找到多 1.8 至 2.5 倍的已确认失效。
来源：arXiv · AI · arxiv.org