跳到正文
arXiv · NLP· Md Tahmid Rahman Laskar, Gundeep Singh, Xue-Yong Fu, Karol Chang, Kevin Sanders, Shi Zong, Tania Habib, Julien Bouvier Tremblay, Shayna Gardiner, Harsh Saini, Matthias Lee, Elena Khasanova, Quinten McNamara, Shashi Bhushan TN·· 2026-10-14AI 评分31

LLM 作为智能体工作流执行者的评估:现实客服技能基准测试

Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills

AI 导读

这项研究构建了基于 MCP 模拟环境的客服工作流基准,对 17 个 1.7B 至 14B 参数的语言模型进行零样本评估。结果显示 GPT-5.4 领先优势显著,Qwen3.5-9B 为最强开源权重模型。 评估中 10 组 LLM 裁判的通过/失败判定 Kappa 系数平均仅为 0.524,表明裁判可靠性与模型能力同等重要。

来源:arXiv · NLP · arxiv.org