arXiv · AI· Hossein A. Rahmani, Bin Wu, Chaeeun Lee, Fanghua Ye, Sahan Bulathwela, Sujay Kumar Jauhar, Marzieh Fadaee, Nick Craswell, Emine Yilmaz·· 1 天前AI 评分27
StepBench：诊断 AI 智能体对现实世界程序性理解的基准
StepBench: Diagnosing Real-World Procedural Understanding in AI Agents
AI 导读
StepBench 发布，包含 6,885 个来自 wikiHow 的验证程序，覆盖 81 个开放领域类别，用于诊断智能体的规划能力。 该基准为每个程序衍生 5 项诊断任务，涵盖步骤缺失、错误及乱序检测。
来源：arXiv · AI · arxiv.org