跳到正文
arXiv · NLP· Yulun Jiang, Na\"el Ouerghemi, Yekun Chai, Maria Brbi\'c, Michael Moor·· 13 小时前AI 评分41

MARBLE:评估空间推理与视觉抽象的智能体基准测试

MARBLE: An Agentic Benchmark for Spatial Reasoning and Visual Abstraction

AI 导读

多模态大模型在将视觉观察抽象为结构化空间状态时面临挑战,MARBLE 基准测试揭示了这一缺陷。 最强模型 GPT-5.4 在 MARBLE 最难设置中的平均成功率仅 7.3%。

来源:arXiv · NLP · arxiv.org