跳到正文
arXiv · AI· Jialiang Liu, Shusheng Li, Wenjun Tan·· 24 天前AI 评分27

LongSearchEval 评估大语言模型长程网络搜索能力

LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization

AI 导读

LongSearchEval 框架通过轨迹感知评估 16 个大语言模型,收集 1,600 次运行记录,定位 6,545 个失败节点。 该框架在 100 个任务上验证答案组,人工验证显示答案标签一致性达 94.50%,特征对应精确率 98.11%。 该评估支持受控模型比较及回答相关内容的回溯检查。

来源:arXiv · AI · arxiv.org