跳到正文
arXiv · AI· Yuchuan Fu, Minghe Wang, Xiaohan Yuan, Chenlin Zou, Kaitong Jia, Jinfeng Li, Dongxia Wang·· 9 天前AI 评分30

RAS-Eval:基于 LTL 规范的大语言模型智能体工具调用安全评估框架

Specification-based Security Evaluation of Real-World Agents Tool-Calling under Long-Horizon Context Tasks

AI 导读

RAS-Eval 利用 LTL 规范和模型检查器确定性评估 LLM 智能体安全,消除 LLM-as-a-Judge 的幻觉风险。 该框架通过监控执行过程检测被覆盖的瞬态违规,配套数据集含 200 个正常任务和 800 个覆盖四类攻击面的攻击任务。

来源:arXiv · AI · arxiv.org