arXiv · NLP· Chengfei Wu, Ronald Seoh, Bingxuan Li, Liqiang Zhang, Fengrong Han, Dan Goldwasser·· 2026-10-16AI 评分33
MagiC:评估面向扎根视觉推理的多模态认知
MagiC: Evaluating Multimodal Cognition Toward Grounded Visual Reasoning
AI 导读
MagiC 是一个评估大视觉语言模型“扎根视觉推理”能力的基准,包含约 5500 条弱监督 QA 和 900 条人工标注样本。 该基准测试 15 个 7B-70B 参数的 VLM,从答案正确性、推理有效性、定位保真度和自我纠错四个维度评估,并引入 MagiScore 和 StepSense 新指标。 MagiC 通过对抗性视觉提示诊断模型鲁棒性,揭示了当前模型在推理与视觉证据对齐方面的关键局限。
来源:arXiv · NLP · arxiv.org