跳到正文
arXiv · AI· Lucas Jing, Xinqi Wang, Liao Zhang, Simon S. Du·· 2026-10-07AI 评分41

PBT-Bench:评估 AI 智能体基于属性测试的基准

PBT-Bench: Benchmarking AI Agents on Property-Based Testing

AI 导读

PBT-Bench 发布,包含 100 个基于属性的测试问题和 365 个语义缺陷,用于评估 LLM 智能体。 该基准覆盖 40 个真实 Python 库,缺陷分为 L1-L3 三级难度。 PBT 引导式提示下模型缺陷召回率介于 42.1% 至 83.4% 之间,且该研究已被 NeurIPS 2026 接收。

来源:arXiv · AI · arxiv.org