arXiv · NLP· David Harwath, Desh Raj, Xavier Velez, Sandra Arcos-Holzinger, Willie Jeng, Karen Livescu, Leibny Paola Garcia-Perera, Sanjeev Khudanpur·· 3 小时前AI 评分25
Gemma-4 12B 与 Inkling-Small 的无编码器多模态 LLM 隐式编码器分析
Encoder-Free Multimodal LLMs Learn Implicit Encoders
AI 导读
Gemma-4 12B 和 Inkling-Small 两款无编码器多模态 LLM 的早期层被证实可作为“隐式编码器”，独立编码模态与联合编码在推理任务中准确率相同。 这些模型直接将样本、像素或频谱特征输入 Transformer 语言模型，而非使用专用模态编码器。 研究通过逐层探针发现隐式编码器的行为与多种流行编码器模型相似。
来源：arXiv · NLP · arxiv.org