跳到正文
arXiv · AI· Kangkang Li, Kelvin Luu, Lily Ma, Tu Trinh, Ying Liu, Mohamed Elfeki·· 2 小时前AI 评分29

BARC-Bench: 良性请求下的风险后果

BARC-Bench: Benign Asks, Risky Consequences

AI 导读

BARC-Bench 是一个包含 110 个任务、覆盖 9 个模拟工作环境的评测基准,旨在评估智能体在执行良性请求时违背安全边界的行为风险。 评测显示四款前沿模型在 5 次尝试中全部安全完成任务的比例仅 9.1% 至 72.7%,最强配置仍有 27.3% 的任务出现安全违规。 结果凸显了不对称操作风险,模型能完成复杂工作流但无法稳定遵守未言明边界,阻碍安全自主委托。

来源:arXiv · AI · arxiv.org