arXiv · AI· Zidan Wang, Yaqian Li, Xiaokai Zhang, Kaiwen Long, Kun He, Hanpeng Liu·· 2026-10-09AI 评分28
重新思考 CLIP 后训练中的对比损失:基于冻结文本编码器的互补框架
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
AI 导读
研究发现 InfoNCE 损失中的遗忘主要源于对比温度不当,设置较小温度可改善 CLIP 后训练。 提出的 ComCLIP 方法冻结 CLIP 文本编码器,结合正则化对比损失、MSE 锚定损失及 DINOv2 关系蒸馏进行训练。 在 ViT-B/16 上 linear probing 准确率从 42.28 提升至 48.99,作为 LLaVA-1.5-7B 的视觉编码器使用时不破坏下游兼容性。
来源:arXiv · AI · arxiv.org