跳到正文
arXiv · AI· Alexander Kovalenko, Artem Redchych·· 17 天前AI 评分30

CAREFUL-Bench:面向 LLM 多轮函数调用的无裁判、效果感知评测

CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling

AI 导读

针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。

来源:arXiv · AI · arxiv.org