arXiv · AI· Shuo Wen, Beixi Du, Edwin Meriaux, Junming Shi, Chloe Si, David Meger, Doina Precup, Gregory Dudek·· 9 小时前AI 评分31
The Prestige:使用魔术表演评测认知视觉推理的视频理解基准
The Prestige: Benchmarking Cognitive Visual Reasoning using Magic Tricks
AI 导读
The Prestige 提出通过专业魔术表演评测认知视觉推理的视频理解基准,测试模型对意外结果事件的跟踪与解释能力。该基准包含从时序因果理解到对抗性问题鲁棒性的开放问答题,评估显示最强视觉语言模型与人类表现存在显著差距。研究还发现自动化评分与人类评分存在系统性偏差,且模型在多选题正确但独立解释失败的情况下依然存在,凸显了视频理解评测的局限。
来源:arXiv · AI · arxiv.org