arXiv · AI· Michael Feffer, Alice Qian, Anusha Sinha, Muye Zhang, Shalini Ghosh, Rachel Phinnemore, Bart Stawicki, Hong Shen, Hoda Heidari·· 17 天前AI 评分37
AI 红队测试指令的框架效应:来自先前演练与受控模拟的证据
On the Framing Effect of AI Red-Teaming Instructions: Evidence from Prior Exercises and Controlled Simulations
AI 导读
研究指出 AI 红队测试指令对结果存在显著框架效应,通过分析 228 个既往实例及 22500 次受控攻击发现,极端风险粒度与示例存在能显著提升攻击成功率。 受控模拟基于 5 种真实指令模板衍生出 45 种指令框架,在 3 个风险领域和 5 个开源模型上测试,证实短长指令优于中等长度,明确危害定义反而降低成功率。
来源:arXiv · AI · arxiv.org