IntentDelta基准发布

研究人员Jieyu Zhou等人于2026年10月27日在arXiv发布IntentDelta，这是一款面向演变用户意图的人工构建多轮基准。该基准涵盖WebShop和TravelPlanner两个场景，共包含638条轨迹及3,766个对话轮次。 该基准主要评估11个Agent在意图恢复与行动质量上的表现。测试结果显示，参与评估的Agent平均意图恢复率分别为33.1%和44.7%。数据表明，现有Agent难以准确区分用户偏好与硬约束。 研究进一步指出，即使意图恢复正确，也不保证后续执行成功。这一发现揭示了当前智能体在复杂多轮交互中从意图理解到动作执行链条上的局限性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。