跳到正文
arXiv · AI· Md Abu Yusuf, Oyshi Tabassum Aditi, Md Faysal Hosain Mazed·· 24 天前AI 评分22

SentryBench: 面向公共安全部署中工具使用 LLM 智能体对抗鲁棒性的成本敏感基准

SentryBench: A Cost-Sensitive Benchmark for Adversarial Robustness of Tool-Using LLM Agents in Public-Safety Deployments

AI 导读

SentryBench 提出了一种成本敏感基准,用于评估工具使用 LLM 智能体在公共安全部署中的对抗鲁棒性。 该基准基于 840 个评分回合,联合衡量攻击成功率、过度拒绝和过度反应,并在三个前沿模型和三种防御机制上进行测试。 结果显示,单纯增加拒绝导致部分模型过度拒绝率达 100%,而信任门控包装器在所有模型上均产生最低伤害。

来源:arXiv · AI · arxiv.org