arXiv · NLP· Jen-Tse Huang, Dasen Dai, Jen-Yuan Huang, Youliang Yuan, Xiaoyuan Liu, Wenxuan Wang, Wenxiang Jiao, Pinjia He, Zhaopeng Tu, Haodong Duan·· 16 小时前AI 评分47
研究指出 MLLM 在基础视觉能力上存在显著缺陷
Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs
AI 导读
研究团队推出 VisFacor 基准，评估了 GPT、Gemini、LLaMA 和 Qwen 等 39 款前沿多模态大语言模型。结果表明最佳模型得分仅为 55.9%，且在心理旋转、空间关系推理等基础任务上普遍表现不佳。研究认为当前模型尚未掌握类人的基础视觉认知能力。
来源：arXiv · NLP · arxiv.org