arXiv · AI· Ruozhao Yang, Mingfei Cheng, Gelei Deng, Tianwei Zhang, Junjie Wang, Xiaofei Xie·· 17 天前AI 评分32
PentestEval:基于模块化与阶段级设计的 LLM 渗透测试基准
PentestEval: Benchmarking LLM-based Penetration Testing with Modular and Stage-Level Design
AI 导读
PentestEval 发布了首个全面评估 LLM 在渗透测试中表现的基准,覆盖 6 个分解阶段和 346 个任务。 该基准在 12 个现实场景中对 9 种 LLM 进行阶段级评估,端到端成功率仅 31%,现有智能体表现受限。 研究指出可靠自动化需增强结构化推理与阶段级诊断能力,为细粒度评估提供基础。
来源:arXiv · AI · arxiv.org