跳到正文
arXiv · AI· Jeonghwan Kim, Renjie Tao, Sanat Sharma, Jiaqi Wang, Kai Sun, Zhaojiang Lin, Seungwhan Moon, Lambert Mathias, Anuj Kumar, Heng Ji, Xin Luna Dong·· 2026-10-14AI 评分27

PixSearch:面向知识增强大型多模态模型的区域级检索

PixSearch: Region-Grounded Retrieval for Knowledgeable Large Multimodal Models

AI 导读

PixSearch 提出了一种端到端分段大型多模态模型,将区域级视觉定位与检索增强推理相结合,在 CRAG-MM 基准上较全图检索实现 18.3% 的相对准确率提升,并将推理延迟降低 36.4%。 该模型通过联合训练的掩码解码器进行目标实体裁剪,并利用双阶段监督微调与搜索交错监督机制,以保留分割能力的同时实现检索触发和查询路由,在具身图像和实体中心 VQA 基准上表现强劲。

来源:arXiv · AI · arxiv.org