arXiv · AI· Gaytri Jena, Kapil Wanaskar, Aman Chadha, Vasu Sharma, Vinija Jain, Amitava Das·· 3 天前AI 评分26
HospitalBench:诊断具身智能体在长医院任务链中的失败位置与原因
HospitalBench: Diagnosing Where and Why Embodied Agents Fail on Long Hospital Task Chains
AI 导读
HospitalBench 发布了首批诊断基准结果,基于 NVIDIA Isaac Sim 评估具身智能体在 10 项医院杂务长任务链中的表现。 该基准通过 5 个计分子任务测试因果连续性,首轮 15 次测试运行中仅 2 次通过全部子任务,并分析出 189 次失败调用。
来源:arXiv · AI · arxiv.org