arXiv · AI· Pei Yang, Tianyu Shi, Yuhang Yao, Wanyi Chen, Tongyun Yang, Dun Pei, Haonan Wang, Pengbin Feng, Guanxu Yu, Jingchun Huang, Zeyu Zhang, Shuhan Sun, Hao Li, Alex Gu, Xiang Li, Jie Xiao, Xinyu Wang, Hanxin Chen, Daqi Li, Qi Jia, Hongshan Lin, Zhizhou Gu, Zijun Tian, Weizhi Du, Lynn Ai, Eric Yang·· 12 小时前AI 评分38
Zero2Repo：评测编码智能体从零构建软件仓库的能力
Zero2Repo: Can Coding Agents Build Repositories from Scratch?
AI 导读
Zero2Repo 是一个从零构建代码仓库的评测基准，要求智能体根据需求文档和接口契约在空工作区交付完整项目。 该基准通过语言无关的流水线生成任务，当前包含 Python、TypeScript、Go 和 C++ 任务，采用二值奖励且不使用 LLM 裁判。在 11 个高频任务中，最强智能体仅解决 10 个，失败案例多源于对单一规则的遗漏。
来源：arXiv · AI · arxiv.org