跳到正文
arXiv · ML· Byeongju Woo, Zilin Wang, Byeonghyun Pak, Sangwoo Mo, Stella X. Yu·· 9 天前AI 评分33

CAFT 实现视觉语言模型在长文本检索的层级对齐

Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding

AI 导读

CAFT 通过联合学习局部文本区域对齐和全局图文对齐,解决视觉语言模型在长文本检索中的细粒度理解难题。 在 30M 图文对数据上训练后,CAFT 在 6 个长文本检索基准测试中取得最先进性能,展示了良好的扩展性。 该模型无需显式区域级监督即可学习细粒度表征,论文已被 NeurIPS 2026 接收。

来源:arXiv · ML · arxiv.org