跳到正文
arXiv · AI· Keyun Zhang, Dapeng Yin, Fanfu Wang, Shuang Lang, Zhenyu Zhu, Yulin Huang, Chong Yang, Pengjie Wang·· 21 天前AI 评分32

ATLAS-Bench:一个用于本地区域搜索的智能体工具使用基准

ATLAS-Bench: An Agentic Tool-Use Benchmark for Local Area Search

AI 导读

针对LLM智能体本地搜索评估覆盖度不足的问题,推出ATLAS-Bench基准与ATLASBox评测环境。 ATLAS-Bench包含3个区域扩展的1,200条查询,区分强制要求与偏好;ATLASBox提供固定POI知识库及搜索工具。 在11个模型的14种配置评估中,GPT-6-Luna约束满足率达71.5%,GLM-5.3可行查询推荐率85.3%。

来源:arXiv · AI · arxiv.org