arXiv · ML· Liangjian Wen, Jiangtao Zheng, Jiang Duan, Qun Dai, Yong Dai, Jianzhuang Liu, Jun Wang, Shu-Dong Huang, Xinwang Liu, Zenglin Xu, Zhao Kang·· 23 小时前AI 评分20
MIIB 框架提出用于多模态自监督学习
Multimodal Information Interactions Bottleneck for Multimodal Self-Supervised Learning
AI 导读
MIIB 基于 Partial Information Decomposition 提出多模态自监督学习框架，显式编码冗余、独特及协同信息。 采用双路径架构进行模态编码与融合，利用熵目标优化以获取最小充分表示。 实验显示 MIIB 在多样化基准上持续优于最先进的多模态自监督方法，代码已开源。
来源：arXiv · ML · arxiv.org