跳到正文
arXiv · ML· Hong-Han Wang, Yuntao Wang, Hu Ding·· 4 天前AI 评分29

多模态大语言模型中的对齐幻觉:几何诊断而非内容互作

The Alignment Illusion in Multimodal Large Language Models

AI 导读

研究通过视觉流干预揭示多模态大语言模型中的“对齐幻觉”,表明层间视觉-文本相似度无法一致区分受损与原始流。 在13个涵盖0.5B至72B参数、来自五个系列的模型中,以高斯噪声替换投影器输出的视觉token虽显著降低任务准确率,但CKA、SVCCA、MIR及主夹角余弦四项标准标量指标均未有效捕捉该差异。

来源:arXiv · ML · arxiv.org