热点事件持续更新

论文揭示AI评测中工具调用率归零根因

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

Wenbo Wang和Di Sang发表论文指出，AI评测中的工具调用率数据存在系统性偏差。在BFCL v4基准测试中，仅更改服务适配器而不改变模型，同一模型的得分便在0.00至0.96间剧烈波动。\n\n研究发现，服务栈的界面层会审查模型轨迹，即使模型正在发出格式正确的调用，上报的工具调用率仍可能归零。实验显示，在21倍规模区间的Qwen2.5-Coder模型中，服务器解析率始终为0，而32B模型的格式正确输出调用率却可达80/100。\n\n该论文表明，当前Agent评测体系依赖服务栈读取的数据并不可靠，接口层面的轨迹审查是导致评测结果失真的根本原因。

AI 根据报道生成 · 12 小时前更新

最新进展10月22日 12:00

接口导致轨迹审查：Agent 评测中工具调用率归零的根因分析

报道时间线

沿着报道，了解事件的不同侧面。

10月22日

12:00
arXiv · AI
接口导致轨迹审查：Agent 评测中工具调用率归零的根因分析
服务栈的界面会审查模型轨迹，导致上报的工具调用率为零，即使模型正在发出格式正确的调用。在 BFCL v4 上仅更改服务适配器，同一模型得分便在 0.00 至 0.96 间波动；21 倍规模区间的 Qwen2.5-Coder 显示服务器解析率始终为 0，而 32B 模型的格式正确输出调用率可达 80/100。

本事件热度走势

可比范围当前: 7
可比范围峰值: 910月22日 16:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。