跳到正文
arXiv · NLP· Jianpeng Cheng, Guangyu Sun, Aashu Singh, Benyu Zhang, Haixing Dai, Hossein Mansour, Jiangfan Zhang, Shlok Kumar Mishra, Wei Sun, Xuanming Cui, Yanli Liu, Qi Guo, Max Xiangjun Fan, Jun Xiao·· 2026-10-09AI 评分26

MetaEncoder 将预训练的 Muse-Glimmer 30B 微调为多模态决策编码器,通过双向编码器架构处理纯自然语言接口。

MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface

AI 导读

模型在涵盖 11 个基准套件和 190 个任务的评估中,在多模态决策、理解和检索场景下超越了当前 SOTA 多模态编码器。 该系统在密集型推理任务上仍存在局限,展示了自然语言接口在多模态系统一决策中的能力边界。

来源:arXiv · NLP · arxiv.org