arXiv · AI· Jiajun Wu, Jian Yang, Yaxin Du, Shukai Liu, Linzheng Chai, Tuney Zheng, Wei Zhang, Haitao Yang, Yan Bai, Yihang Lou, Xianglong Liu, Bryan Dai·· 6 小时前AI 评分45
ProductWebBench：评估超越任务完成度的网站连续性
ProductWebBench: Evaluating Website Continuity Beyond Task Completion
AI 导读
论文推出 ProductWebBench 基准，在 320 个变更任务和 80 个长期构建任务中评估前端编码代理的网站连续性。 基准基于 8,737 次运行和 13 个模型测试，发现 28.2% 通过目标检查的运行仍存在连续性故障，18.3% 破坏了已验证状态。 ProductWebBench 通过冻结快照和确定性检查，实现对动态系统中补丁影响的精确溯源。
来源：arXiv · AI · arxiv.org