跳到正文
arXiv · AI· Mike He, Ankush Desai, Sharad Malik, Aarti Gupta·· 4 天前AI 评分28

Soteria: 基于形式化验证规划与运行时强制执行的 LLM 智能体安全框架

Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents

AI 导读

Soteria 框架通过验证分层规划和规范运行时强制执行,解决了 LLM 智能体在工具调用中的安全与效用冲突,任务成功率达到最佳基线平均水平的 1.7 倍且无策略违规。 该框架在执行前对结构化计划进行形式化验证,并在运行时提供引导以防止智能体在阻塞不安全操作后陷入困境。

来源:arXiv · AI · arxiv.org