跳到正文
arXiv · AI· Arun Josephraj Arokiaraj, Chenyi Huang, Zekun Wu, Adriano Koshiyama·· 2026-10-05AI 评分24

Qwen2.5-VL-7B-Instruct 中视觉语言模型的训练-推理脱节机制

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

AI 导读

定向对抗扰动可使 Qwen2.5-VL-7B-Instruct 在固定目标下训练损失趋近于零,但自由生成时仍产生正确描述。 基于 200 张 COCO 图像的 PGD 攻击显示,目标 token 在条件正确的情况下秩值恒为 152,064 词汇表中的 3,488。 研究表明,自回归 VLM 的对抗鲁棒性主要源于语言解码器的先验,而非视觉编码器。

来源:arXiv · AI · arxiv.org