跳到正文
arXiv · AI· Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi·· 2 天前AI 评分41

EMRD:面向关键安全场景下视觉语言模型就绪度的基准测试

Explore, Map, Remember, Decide: A Benchmark for VLM Readiness in Safety-Critical Scenarios

AI 导读

EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。

来源:arXiv · AI · arxiv.org