arXiv · ML· Yanlin Chen, Tang Li, Xi Peng·· 9 天前AI 评分20
VIGOR:评估多模态大模型视觉推理正确性的基准
VIGOR: Benchmarking Visual Rationale Correctness in Multimodal Large Language Models
AI 导读
VIGOR 基准引入视觉概念与像素级定位结合的评估体系,用于检验多模态大模型输出是否有正确的视觉证据支持。 该基准覆盖低层视觉属性、中间层结构到高层关系等层级,通过自动标注框架规模化构建数据,并将模型生成的视觉证据与真实定位进行对比。 评测显示当前多模态大模型在视觉推理正确性方面表现有限,且在不同概念层级存在明显的基础定位失败模式。
来源:arXiv · ML · arxiv.org