跳到正文
arXiv · AI· William Huang, David Li, Xiang 'Anthony' Chen, Xun Qian, Nels Numan, Zhongyi Zhou, Hyunsung Cho, Salman Muin Kayser Chishti, Ding Xia, Xincheng Huang, Jiahao Ren, Faraz Faruqi, Tianyu Xu, Yang Zhang, David Kim, Ruofei Du·· 29 天前AI 评分27

GenXR-Bench 首个评测 XR 开发编码智能体的基准发布

GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development

AI 导读

GenXR-Bench 是首个端到端评测 XR 软件开发编码智能体的基准,包含 112 个专家编写任务。测试套件在消费级 XR 硬件上对 124 个候选应用盲测,准确率达 96.5%。 对 10 个模型的评测显示,最强配置的整体 Pass@1 仅为 50.9%,失败分析指出异步传感器生命周期和物理定位是主要弱点。

来源:arXiv · AI · arxiv.org