arXiv · AI· Michael Yew Chuan Lee, Manya Sriram, N. Benjamin Erichson·· 2 小时前AI 评分35
AI-for-Science 智能体是否保持模型安全性？
Do AI-for-Science Agents Preserve Model Safety?
AI 导读
研究表明，将 LLM 集成至 AI-for-Science 智能体框架后，模型安全性未得到保持。 该研究在 50 个有害化学请求上评估了 5 种智能体框架，测试了 4 种 GPT 变体。结果显示，自适应攻击在经过智能体框架后变得高度有效，且直接提示下的有害合规性也有所增加。这凸显了使用领域特定安全基准评估和对齐此类智能体的必要性。
来源：arXiv · AI · arxiv.org