arXiv · AI· Zidi Xiu, David Q. Sun, Kevin Cheng, Maitrik Patel, Josh Date, Yizhe Zhang, Jiarui Lu, Omar Attia, Raviteja Vemulapalli, Oncel Tuzel, Meng Cao, Samy Bengio·· 23 小时前AI 评分26
ASTRA-bench：评估具备个人用户上下文的工具使用智能体推理与行动规划
ASTRA-bench: Evaluating Tool-Use Agent Reasoning and Action Planning with Personal User Context
AI 导读
研究团队推出基准测试 ASTRA-bench，集成时变个人上下文、交互式工具箱及复杂用户意图，包含 4 个角色生成的 2413 个场景。 评估显示 Claude-4.5-Opus 和 DeepSeek-V3.2 等高复杂度场景下性能显著下降，论证生成为主要瓶颈。 该基准公开完整执行环境与评估脚本，旨在为开发真正具备上下文感知能力的 AI 助手提供诊断平台。
来源：arXiv · AI · arxiv.org