ReLATE: 用于事后多模态对齐的相对表示学习

ReLATE 提出通过模态特定锚点学习相对表示，实现冻结编码器的事后多模态对齐。 该方法在13个通用基准及病理学3个零样本分类任务中，性能匹配或超越现有基线模型。 相比联合预训练，ReLATE 在配对数据稀缺时提供了有效的对齐替代方案。