跳到正文
arXiv · AI· Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang, Chi Gui, Feishi Wang, Canyu Chen, Wenli Xiao, Xiaoyu Huang, Tonghe Zhang, Linjie Li, Zihan Wang, Minyeong Kim, Yiyou Sun, Mingkai Deng, Jinyu Hou, Qi Zhu, Han Liu, Eric P. Xing, Huaxiu Yao, Zhiwen Fan, Yuejiang Liu, Dawn Song, Pieter Abbeel, Li Fei-Fei, Jiajun Wu, Yuke Zhu, Guanya Shi, Ruohan Zhang, Manling Li·· 10 天前AI 评分53

Embodied First Exam:面向编码智能体机器人控制的综合评测基准

Embodied First Exam

AI 导读

论文提出 Embodied First Exam,一个包含 1,156 个任务、涵盖 47 种机器人的统一评测框架,用于测试编码智能体在物理世界约束下的控制能力。在 456 个核心任务的标准设定中,最强的智能体 GPT-6 Astra in Codex 仅取得 34% 的成功率,表明现有编码智能体在可靠控制多样化机器人方面仍有巨大改进空间。

来源:arXiv · AI · arxiv.org