跳到正文
arXiv · AI· Hang He, Li Wang, Hao Chen, Yuchen Shao, Yuling Shi, Lisheng Wang, Peiyang Liu, Goose Lin, Zaiyuan Wang, Haiying Sun, Ting Su, Chengcheng Wan·· 2026-10-07AI 评分33

CheckerBench 能否让长周期智能体合成静态分析检查器?

CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?

AI 导读

研究人员提出 CheckerBench 基准测试,用于评估智能体合成静态分析检查器的能力。 该基准包含 300 个基于 297 个 CVE 的任务,涵盖 167 个代码仓库和 5 种语言生态系统。 在 21 种模型配置中,平均 Pass@1 得分为 32.30%,最佳表现达到 45.33%。

来源:arXiv · AI · arxiv.org