arXiv · AI· Zhixun Chen, Ming Li, Anjie Liu, Xiaoyuan Zhang, Quanyu Dai, Huangxun Chen·· 10 天前AI 评分23
TurnFlow: 基于场景引导用户模拟的多轮 LLM 智能体用户状态推理基准测试
TurnFlow: Benchmarking User-State Reasoning in Multi-Turn LLM Agents via Scene-Guided User Simulation
AI 导读
TurnFlow 发布,用于评估多轮对话中 LLM 保持、修订并执行用户需求的能力。 该基准包含 490 个场景,结合自适应用户模拟与可验证评判。9 个 LLM 的整体通过率在 42.86% 到 59.59% 之间。 模型在范围蔓延和目标转移等挑战类型上表现仍不十分可靠。
来源:arXiv · AI · arxiv.org