跳到正文
arXiv · AI· Shaikh Akib Shahriyar, MD. Akil Raihan Iftee, Armon Barton, Matthew Wright·· 2026-10-14AI 评分33

工具型 Agent 鲁棒性评估中的可执行任务契约

What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents

AI 导读

提出可执行任务契约以规范 Agent 鲁棒性测试中任务同类的判定标准。 在 14,336 个 Agent 运行测试中,嵌入阈值规则允许了 75-100% 改变任务的有效编辑,却拒绝了 24-45% 的合法恶意注释。 评估应明确并检查何谓同一任务,以确保测试用例的有效性。

来源:arXiv · AI · arxiv.org