PROBE 基准测试：前沿编码智能体发现的漏洞与维护者修复的漏洞存在差异

研究提出 PROBE 基准，包含 20 个 GitHub 仓库在 18 个月内修复的 2457 个漏洞。 前沿编码智能体对该基准的召回率低于 21%，精确率不足 9%，但 LLM 与人类评估者仍判定 85% 的发现有效。 智能体发现的漏洞分布相似但显著不同于维护者修复的漏洞，该基准对模型用户和开发者均有价值。