arXiv · NLP· Milad Gholami, Brendan King, Jeffrey Flanigan·· 7 天前AI 评分41
ToolTurns:评估 LLM 智能体在多轮对话中工具使用能力的基准
ToolTurns: Benchmarking LLM Agents in Multi-Turn Dialogue
AI 导读
ToolTurns 包含 2,620 个问题和 1,827 个工具,测试 LLM 智能体在多轮对话中的澄清与工具使用能力。 在 9 个语言模型中,最佳智能体完成 69.6% 的单次请求但仅 39.8% 的完整对话;所有模型在后续请求上的成功率均低于初始请求。 该基准为评估智能体在带工具的多轮对话中维持任务成功率提供了测试平台。
来源:arXiv · NLP · arxiv.org