arXiv · AI· Arun Josephraj Arokiaraj, Chenyi Huang, Zekun Wu, Adriano Koshiyama·· 2026-10-05AI 评分24
Qwen2.5-VL-7B-Instruct 中视觉语言模型的训练-推理脱节机制
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
AI 导读
定向对抗扰动可使 Qwen2.5-VL-7B-Instruct 在固定目标下训练损失趋近于零,但自由生成时仍产生正确描述。 基于 200 张 COCO 图像的 PGD 攻击显示,目标 token 在条件正确的情况下秩值恒为 152,064 词汇表中的 3,488。 研究表明,自回归 VLM 的对抗鲁棒性主要源于语言解码器的先验,而非视觉编码器。
来源:arXiv · AI · arxiv.org