arXiv · AI· Hanpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He·· 2026-10-12AI 评分26
ITO:面向图文预训练的多视角对齐与训练时融合框架
ITO: Multi-View Alignment and Training-Time Fusion for Image-Text Pretraining
AI 导读
ITO 框架通过多视角对齐与训练时融合优化图文表示,在 100M-1B 规模上性能超越 CLIP。 框架利用多视角数据增强提供判别增益,轻量融合模块在训练时作为正则化项,推理时丢弃以维持双编码器效率。 融合贡献随数据规模增长而增加,能稳定优化过程并缓解后期过拟合,相关代码已开源。
来源:arXiv · AI · arxiv.org