arXiv · AI· Yipeng Sun, Jiajun Wang, Siyuan Mei, Yan Xia, Siming Bayer, Vincent Christlein, Andreas Maier·· 3 天前AI 评分33
跨模态对齐的关键因素:LightAlign 方法提出
What Matters for Cross-Modal Alignment
AI 导读
研究提出 LightAlign 方法,利用少量成对数据实现冻结编码器间的跨模态对齐。在 3D CT 任务中,LightAlign 以 200 个数据对超越 CT-CLIP(0.754 vs 0.733 AUROC),并在 CheXpert 上以约 5% 的数据量达到 0.862 AUROC,显著降低医疗影像分析对标注数据的依赖。
来源:arXiv · AI · arxiv.org