跳到正文
arXiv · AI· Mahdi Mostajabdaveh, Zirui Zhou·· 8 小时前AI 评分21

对比视觉-语言模型中空间关系失败的诊断与修复

Discarded or Unreachable? Diagnosing and Repairing Spatial Relation Failure in Vision--Language Similarity

AI 导读

研究发现对比视觉-语言模型在左右关系评分上接近随机,归因于嵌入不可达或池化丢弃。 针对两种失败模式,提出零参数查询条件空间矩方法,在11.8万图像索引上显著提升左右成对准确率与召回率。

来源:arXiv · AI · arxiv.org