arXiv · ML· Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu·· 7 天前AI 评分48
解耦多模态视觉编码:专用视觉容量比预训练先验更关键
Unbundling Multimodal Vision Encoding
AI 导读
研究通过控制变量框架解耦多模态视觉编码设计,发现从头联合训练的编码器与预训练编码器性能相当,预训练视觉先验并非必要。 即便移除独立编码器并扩大主干网络参数,模型在视觉理解上仍落后;将视觉专用模块融入主干早期层可保持同等性能,并降低首字生成时间。 这些结论在不同主干规模及从预训练语言模型起步的场景下均成立,支持在主干早期部署联合训练的专用视觉容量。
来源:arXiv · ML · arxiv.org