arXiv · AI· Xinyu Mao, Junsi Li, Haoji Zhang, Yu Liang, Ming Sun·· 3 天前AI 评分23
SEPS: 面向细粒度跨模态对齐的语义增强补丁精简框架
SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment
AI 导读
提出 SEPS 框架以解决视觉与语言跨模态对齐中的补丁冗余和歧义问题,在 Flickr30K 和 MS-COCO 数据集上取得 23%-86% 的 rSum 性能提升。 该框架采用两阶段机制整合密集与稀疏文本的语义,并利用均值计算的相关性感知选择来突出关键补丁-词对应。 SEPS 已被 ICML 2026 录用,相关实现代码已在 GitHub 上公开。
来源:arXiv · AI · arxiv.org