跳到正文
arXiv · AI· Yunxiao Shi, Wujiang Xu, Tingwei Chen, Haoning Shang, Ling Yang, Yunfeng Wan, Zhuo Cao, Xing Zi, Dimitris N. Metaxas, Min Xu·· 14 天前AI 评分30

AgentSelect: 叙事查询到智能体推荐的基准

AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation

AI 导读

AgentSelect 是首个统一的智能体推荐基准,包含 111,179 个查询、107,721 个可部署智能体及 251,103 条交互记录,覆盖 LLM-only、toolkit-only 及组合型智能体。 该基准将评估重构为基于能力画像的叙事查询推荐任务,分析显示基于流行度的 CF/GNN 方法在长尾场景中变得脆弱,内容感知匹配更为关键,且模型可迁移至 MuleRun 等公共市场。

来源:arXiv · AI · arxiv.org