arXiv · AI· Mintong Kang, Stephen Rawls, Melissa Kazemi Rad, Jian Ni, Bo Li·· 1 天前AI 评分32
自动红队测试中目标Agent自评优于自提
The Target Agent Is Its Own Best Critic but a Poor Proposer: Self-Improved Red Teaming
AI 导读
自动红队测试发现目标Agent自批评优于自提议。自批评基于目标实时执行上下文，移除推理会使下游攻击成功率降低6%-17%；而自提议因对抗目标意识导致模型拒绝或“躺平”。该角色分离方法在DTAP-BENCH上取得63.2%总体攻击成功率，远超基线，表明红队效果取决于执行上下文与对抗责任的分配。
来源：arXiv · AI · arxiv.org