arXiv · AI· Yijun Zhou, Minghao Shao, Ke Zhang, Renkai Yuan, Hongbo Yuan, Bin Hu, Bozhao Qian, Hongxia Shen, Yanhong Liu, Yuting Chen, Yuntao Shi, Zhongxuan Xu, Shuo Mao, Haijia Zhou, Zhendong Li, Tao Zhang, Chenggang Li, Yuxuan Wang, Zinan Zheng, Calvin Zhang, Jia Li, Heng Chang, Jie Feng·· 5 小时前AI 评分29
UnityBench-Mini3D：评估LLM智能体在Unity中开发3D游戏的能力
UnityBench-Mini3D: Evaluating LLM Agents for 3D Game Development in Unity
AI 导读
发布UnityBench-Mini3D，包含77个Unity项目级任务，用于评估LLM智能体在3D游戏开发中的表现。 该基准使用1,178个人工编写的里程碑测试进行评估，覆盖场景结构、组件配置和运行时行为。 在21个模型和9个编码框架测试中，简单任务平均通过率为80.9%，困难任务为35.2%，总体为57.7%。
来源：arXiv · AI · arxiv.org