跳到正文
arXiv · ML· Yunhe Gao, Ashwin Kumar, Jiaming Liu, Chong Wang, Maya Varma, Fuying Wang, Stefania L. Moroianu, Louisa Fay, Sergios Gatidis, Akshay S. Chaudhari, Curtis Langlotz·· 12 小时前AI 评分29

辐射学语言-图像预训练中重新思考对比目标:CorLIP 方法

Rethinking Contrastive Targets in Radiology Language-Image Pretraining

AI 导读

针对 CLIP 式辐射学预训练在零样本评估峰值后性能下降及大批次训练失效的问题,研究提出兼容性修正方法 CorLIP。该方法无需改变架构,仅将临床断言与图像一致的文本视为正样本,解决了确定性梯度偏差。 CorLIP 大幅放大数据增益,并在 B=2048 的大批次下保持稳定,且该修正可从胸部 X 光迁移至 3D CT 模态。

来源:arXiv · ML · arxiv.org