跳到正文
arXiv · ML· Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mitsufuji·· 17 天前AI 评分32

Mixture of Probes:多模态大语言模型中基于探测的特权模态学习

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

AI 导读

提出 Mixture of Probes (MoP) 框架,通过解耦模态特定与通用信号,利用训练期可用但推理期缺失的特权模态辅助多模态大语言模型学习。 在 4 种模态和 8 项任务的评估中,MoP 相比强基线实现最高 65% 的相对性能提升。 代码、模型检查点及评估协议将公开,以支持该设置下的跨模态可迁移表征学习。

来源:arXiv · ML · arxiv.org