跳到正文
arXiv · AI· Mi Luo, Rohan Dugad, Zihui Xue, Alex Dimakis, Kristen Grauman·· 10 天前AI 评分41

潜空间多模态推理中的心象崩塌:AnchorSim 框架

Mental Imagery That Matters: Curing Latent Collapse in Multimodal Reasoning

AI 导读

研究人员发现现有潜空间多模态大模型存在心象崩塌失效模式,其生成的视觉潜变量对最终答案概率影响微弱,大部分推理计算实际路由至文本。该失效源于现有训练目标,视觉对齐仅使潜变量相似但未强制解码器依赖。

来源:arXiv · AI · arxiv.org