跳到正文
arXiv · AI· Lance Ying, Ryan Truong, Prafull Sharma, Kaiya Ivy Zhao, Nathan Cloos, Kelsey R. Allen, Thomas L. Griffiths, Katherine M. Collins, Jos\'e Hern\'andez-Orallo, Phillip Isola, Samuel J. Gershman, Joshua B. Tenenbaum·· 16 小时前精选AI 评分68

AI GameStore:基于人类游戏评估机器通用智能的可扩展开放平台

AI GameStore: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games

AI 导读

研究团队提出AI GameStore平台,通过LLM结合人工环节合成100个基于Apple App Store和Steam热门榜单的人类游戏,用于评估机器通用智能。测试中表现最好的7个前沿视觉语言模型在多数游戏上得分低于人类平均水平的10%,且在需要世界模型学习、记忆和规划的游戏上尤为吃力。该工作已在NeurIPS 2026发表。

推荐理由

论文提出用LLM合成人类游戏评测通用智能,数据显示顶级视觉语言模型表现不足人类平均水平的10%。

来源:arXiv · AI · arxiv.org