arXiv · NLP· Zhiqing Zhong, Mingyu Chen, Aoyang Fang, Yuzhong Zhang, Haoye Tian, Lionel Briand, Boxi Yu, Pinjia He·· 2026-10-14AI 评分35
SpecGuardBench:编码智能体能否从自然语言规范构建可靠验证基准
SpecGuardBench: Can Coding Agents Construct Reliable Validation Harnesses from Natural Language Specifications?
AI 导读
SpecGuardBench包含13个仓库的291项任务,覆盖8种验证逻辑,用于评估编码智能体构建验证框架的能力。 结果显示4类智能体中无一能在63%以上的任务中构建忠实于规范的检查,主要瓶颈在于检查项往往镜像参考实现而非自然语言规范。
来源:arXiv · NLP · arxiv.org