arXiv · AI· Loan Bernat (LAAS-GEPETTO), Matthieu Grard (LAAS-RAP), Ariane Herbulot (LAAS-RAP), Florent Lamiraux (LAAS-GEPETTO)·· 2026-10-12AI 评分35
MAGMA-Bench:动态任务与执行故障下的长程具身智能体评测基准
MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures
AI 导读
MAGMA-Bench 发布了一个架构无关的基准,用于评估动态多机器人环境下的长程具身智能体。 该基准包含 261,646 个任务级训练示例,并测试了在线扰动、异构机器人协调及执行故障。 评估显示,即使在无扰动的干净集分中,最强模型也有大量失败,且在线扰动下成功率进一步下降。
来源:arXiv · AI · arxiv.org