跳到正文
arXiv · AI· Eray Turkel, Mengsha Sun, Kartik Ayyar, Sean Dunigan, Jack Lu, Vlad Shcherban, Hsiang-Shun Shih, Xin Wang, Tiantian Zhang·· 2026-10-05AI 评分33

OpenGameEval 基准测试评估智能体在 Roblox Studio 中的编程与探索能力

OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine

AI 导读

研究团队推出 OpenGameEval 基准,用于在 Roblox Studio 中评估 AI 智能体的编程与探索表现。该框架对 13 个前沿模型进行测试,最优模型在 84 个核心任务中的单次通过率仅为 51.7%,且六项任务无一模型能解决。探索行为直接预测成功率,深入检查所有相关对象的运行通过率比不检查的高出 13.4 个百分点。

来源:arXiv · AI · arxiv.org