跳到正文
arXiv · AI· Weitao Feng, Hengheng Xiong, Zihao Zeng, Jun Chen, Jiyang Guan, Xiaofeng Wang, Jialing Tao, Hui Xue, Wei Dong·· 1 天前AI 评分42

V³AST-Bench:面向编码智能体的可验证、有效且多用途安全评估基准

V$^3$AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents

AI 导读

summary_zh: V³AST-Bench 发布,包含 212 项风险任务和 18 个类别,通过专用运行时环境验证智能体造成的实际危害与结果。 基准包含 86,496 次试验和 90 多亿 token 交互,测试了 11 个模型和 5 种 harness 的 51 种组合。

来源:arXiv · AI · arxiv.org