arXiv · AI· Alexander Kovalenko, Artem Redchych·· 17 天前AI 评分30
CAREFUL-Bench:面向 LLM 多轮函数调用的无裁判、效果感知评测
CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling
AI 导读
针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。
来源:arXiv · AI · arxiv.org