跳到正文
arXiv · AI· Xianping Ma, Yu Zhang, Mingzhe Jiang, Wanxin Xie, Qing Zhu, Nan Xu, Xiaokang Zhang, Yuanxin Ye·· 9 天前AI 评分31

多模态遥感预训练:放松跨模态对应关系的研究

Relaxing Cross-Modal Correspondence for Multimodal Remote Sensing Pretraining

AI 导读

研究提出 Semantic Pairing 策略,将多模态遥感预训练的跨模态对应要求从实例级放宽至语义级,并引入 Mixed Pairing 探索对应粒度。 实验表明 Semantic Pairing 达到与精确配对相当的性能,Mixed Pairing 则揭示了下游迁移与实例配对比例的非单调关系。 结果证明精确实例对应非必要前提,为降低对昂贵数据依赖提供了可行路径。

来源:arXiv · AI · arxiv.org