arXiv · AI· Jialiang Liu, Shusheng Li, Wenjun Tan·· 24 天前AI 评分27
LongSearchEval 评估大语言模型长程网络搜索能力
LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization
AI 导读
LongSearchEval 框架通过轨迹感知评估 16 个大语言模型,收集 1,600 次运行记录,定位 6,545 个失败节点。 该框架在 100 个任务上验证答案组,人工验证显示答案标签一致性达 94.50%,特征对应精确率 98.11%。 该评估支持受控模型比较及回答相关内容的回溯检查。
来源:arXiv · AI · arxiv.org