arXiv · NLP· Seonghyeon Cho, Chanjun Park·· 2 天前AI 评分21
通过全模态模型中的表示子空间理解跨模态不一致性
Understanding Cross-Modal Inconsistency through Representation Subspaces in Omni Models
AI 导读
研究发现,全模态模型中预测跨模态不一致的信息主要位于低维 Answer Subspace 之外,集中在一个可复现的二维表示中。干扰 Answer Subspace 会显著改变模型预测,而干扰该不一致表示或同维随机子空间对结果影响甚微,表明线性可解码性不等同于行为效力。
来源:arXiv · NLP · arxiv.org