arXiv · AI· Daniel Furman, Preeya Kirani, Ibrahim Sheikh, Zhen Li, Peter Zhong, Michele Catasta·· 8 小时前AI 评分49
ViBench 2.0：长程软件构建基准
ViBench 2.0: A Benchmark for Long-Horizon Software Building
AI 导读
Replit 推出 ViBench 2.0 基准，用于评估长程软件构建能力。该基准包含 17 个全栈 Web 产品，基于 241 个功能请求，由浏览器智能体执行 544 个测试计划进行评分。 评测显示最强模型仅能交付 65% 的完整可用产品，且无开源模型达标；某模型家族 pass@1 从 3% 升至 53%，单次构建成本下降过半。
来源：arXiv · AI · arxiv.org