PROBE基准测试揭示编码智能体漏洞发现差异

研究团队发布了名为 PROBE 的基准测试，该测试包含 20 个 GitHub 仓库在 18 个月内修复的 2457 个漏洞。测试结果显示，前沿编码智能体在该基准上的召回率低于 21%，精确率不足 9%。尽管量化指标较低，LLM 与人类评估者仍判定 85% 的发现有效。 研究表明，智能体发现的漏洞在分布上相似但显著不同于维护者修复的漏洞。这一差异表明该基准对模型用户和开发者均具有重要价值，能够揭示智能体能力与实际开发需求之间的差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。