arXiv · NLP· Amir H. Rezaeian, Weiyi Sun, Yassine Benajiba, Dan Roth·· 6 小时前AI 评分32
Prefix Executability: 超越最终成功率评估工具使用智能体的轨迹执行可靠性
Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success
AI 导读
提出“前缀可执行性”协议以评估工具使用智能体轨迹，定义前缀可执行性曲线（PEC）等指标。 在 BFCL-v3 和 ToolSandbox 等基准测试中发现，仅关注最终成功率会掩盖轨迹执行缺陷，显式的预执行计划检查能改善可执行前缀存活率。 该协议为诊断智能体失败和评估验证机制提供可操作的可靠性信号。
来源：arXiv · NLP · arxiv.org