arXiv · NLP· Jieyu Zhou, Zijian Wang, Yun Wang·· 3 小时前AI 评分29
IntentDelta：面向演变用户意图的人造基准测试
IntentDelta: A Human-Constructed Benchmark for Evolving User Intent
AI 导读
研究人员推出 IntentDelta，这是个人工构建的多轮基准，包含 WebShop 和 TravelPlanner 共 638 条轨迹和 3,766 个对话轮次。 该基准评估 11 个 Agent 在意图恢复和行动质量上的表现，平均意图恢复率分别为 33.1% 和 44.7%。 结果显示 Agent 难以区分偏好与硬约束，且正确的意图恢复不保证执行成功。
来源：arXiv · NLP · arxiv.org