arXiv · NLP· Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin·· 2026-10-12AI 评分23
TokenSwap:基准测试与缩小多模态大语言模型模态差距的方法
TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs
AI 导读
TokenSwap 通过生成图文交错输入揭示多模态大语言模型的模态差距,在 42 个 MLLM 上性能下降 4.2% 至 47.4%,平均降幅 19.6%。 推理模型模态差距平均为 10.1%,显著低于非推理模型的 25.5%;将 TokenSwap 纳入训练能有效缩小该差距并保持原有性能。
来源:arXiv · NLP · arxiv.org