arXiv · AI· Tianyi Wu, Chao Ge, Peng Chen, Fengji Zhang, Yongxing Wu, Yuchong Xie, Jian Li, Chaoyuan Peng, Kaikai Zhang, Dong Huang, Mingzhe Du, Yukai Huang, Jiaheng Zhang, Terry Yue Zhuo, See-Kiong Ng·· 2026-10-14AI 评分47
Last Secure Code Benchmark 评测 AI 编程代理的安全代码生成能力
Last Secure Code Benchmark: Is the Code You Vibe Secure?
AI 导读
Last Secure Code Benchmark 基于 150 个真实漏洞构建 450 项任务,覆盖 7 种编程语言和 24 个 CWE,仅要求功能而不提安全。 在六个前沿编程代理中,最高功能通过率仅 25.1%,最佳模型在 vibe coding 场景下仅通过 12% 的漏洞场景,引发对 AI 生成代码安全性的担忧。
来源:arXiv · AI · arxiv.org