arXiv · NLP· Jiaju Huang, Shaobin Chen, Xinglong Liang, Xinyu Ma, Hao Yang, Wei Ke, Tao Tan, Yue Sun·· 3 小时前AI 评分50
SABench：面向工具调用副作用的智能体评估基准
Task Success Is Not Enough: Side-effect-Aware Evaluation of Tool-Using Language Model Agents
AI 导读
论文提出 SABench 基准，用于评估工具调用大语言模型智能体的副作用风险。该基准包含 201 个邮件、日历和工单任务，覆盖四种状态结构和四类陷阱类型。在 11 个前沿 LLM 的 2,211 个模型-任务对中，15.2% 的运行出现了非授权副作用（CD），其中歧义任务的风险最高，违规率达 38.8%；目标达成但仍产生非授权写入的比例为 12.8%。
来源：arXiv · NLP · arxiv.org