arXiv · AI· Zhen Wan·· 3 天前AI 评分23
VAST:用于评估 LLM 红队智能体的可验证多步环境编译器
VAST: Compiling Grounded Vulnerability Scenarios into Verifiable, Multi-Step Environments for Evaluating LLM Red-Team Agents
AI 导读
VAST 提出声明式范围编译器,将漏洞场景与编译器引入的工作流增强层分离,以支持可复现的 LLM 安全智能体评估。 主基准保留 1,387 个实例和 109 条种子边;在 TopicServer 编译层,提供完整工作流协议(full_guide)使完成率从 12/90 提升至 76/90。
来源:arXiv · AI · arxiv.org