arXiv · AI· Mahmut S. Gokmen, Mitchell A. Klusty, Evan W. Damron, Caroline N. Leach, Samuel E. Armstrong, V. K. Cody Bumgardner·· 7 天前AI 评分21
DuoJEPA:跨模态未对齐自监督嵌入空间的翻译方法
DuoJEPA: Cross-Modal Translation Between Unaligned Self-Supervised Embedding Spaces
AI 导读
DuoJEPA 通过 LeJEPA 自监督目标训练双编码器,并添加单 Transformer 层将嵌入翻译至目标空间,实现跨模态检索与分类。 CheXpert Plus 数据集上零样本 AUC 达 86.6,跨模态检索得分 78.5;Sentinel 数据集中,从 4000 个候选中检索配对图像成功率为 77-79%。
来源:arXiv · AI · arxiv.org