arXiv · AI· Mingjia Huo, Yao Fu, Bo Chang, Yaqing Wang, Dawei Zhu, Dylan Zhang, Xinyang Yi, Lichan Hong, Ed H. Chi, Hao Zhang, Jiaxi Tang·· 11 天前AI 评分26
AtariBench 评估视觉语言模型在 Atari 游戏交互中的时空推理能力
AtariBench: Evaluating Spatiotemporal Reasoning of Vision-Language Models in Atari Gameplay
AI 导读
研究团队提出 AtariBench 基准,覆盖 20 款 Atari 2600 游戏,以评估视觉语言模型的高时间分辨率游戏流中的序列决策与动作生成能力。 该基准将游戏内快速动态变化与模型推理速度解耦,揭示当前模型在物体运动方向推断、序列决策鲁棒性及文字历史依赖等方面存在明显缺陷。
来源:arXiv · AI · arxiv.org