跳到正文
arXiv · AI· Jingjie Ning, Xueqi Li, Yibo Kong·· 24 天前AI 评分20

SearchHorizonBench:评估 AI Agent 搜索价值的新基准

SearchHorizonBench: A Benchmark for Search Value in AI Agents

AI 导读

提出 SearchHorizonBench 基准,用于从执行经验中学习与评估 AI Agent 的搜索价值。基准包含 45,632 次执行和 3,168 个问题,历史校准可将 Brier 误差降低 16.2%。 搜索收益标准差为 21.4 个百分点,现有历史估计器仅能解释少于 2% 的点估计方差。在参考 token 价格下,自由选择观测比最佳常数动作带来 2.49 分效用机会。

来源:arXiv · AI · arxiv.org