跳到正文
arXiv · NLP· Na Min An, Taekyung Kim, Jaemyung Yu, Hyunjung Shim, Dongyoon Han·· 2026-10-14AI 评分33

全模态大语言模型“知而不言”现象及 OmniCatalyst 改进策略

Omni-Modal LLMs Know More Than They Say

AI 导读

研究发现全模态 LLM 常无法表达已感知到的非文本模态信息,提出 Token-level Modality Alignment (TMA) 用于度量这种错位。 OmniCatalyst 通过自生成文本补充模态输入,在 7 个模型上平均提升 7.29% 性能并优化模态偏好。

来源:arXiv · NLP · arxiv.org