arXiv · AI· Hang He, Li Wang, Hao Chen, Yuchen Shao, Yuling Shi, Lisheng Wang, Peiyang Liu, Goose Lin, Zaiyuan Wang, Haiying Sun, Ting Su, Chengcheng Wan·· 2026-10-07AI 评分33
CheckerBench 能否让长周期智能体合成静态分析检查器?
CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
AI 导读
研究人员提出 CheckerBench 基准测试,用于评估智能体合成静态分析检查器的能力。 该基准包含 300 个基于 297 个 CVE 的任务,涵盖 167 个代码仓库和 5 种语言生态系统。 在 21 种模型配置中,平均 Pass@1 得分为 32.30%,最佳表现达到 45.33%。
来源:arXiv · AI · arxiv.org