跳到正文
热点事件持续更新

BedBench基准揭示VLM 3D推理局限

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Khai Le-Duc等研究人员发布3D视觉推理基准BedBench,该基准包含13个程序生成任务。研究发现视觉语言模型在3D推理中难以一致利用物体属性,在按颜色计数任务上准确率仅7.2%,而人类达到93.3%。针对微调模型,准确率虽提升3.0%至68.6%,但仍伴随内部不一致;探测Qwen3.5-27B表明精确计数可恢复但极少被采纳。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv · AI
    VLM 3D 推理失效分析:BedBench 揭示的局限

    研究发现视觉语言模型在 3D 推理中难以一致利用物体属性,新基准 BedBench 显示其在按颜色计数任务上准确率仅 7.2%,而人类达到 93.3%。 针对微调模型 3.0% 至 68.6% 的准确率提升仍伴随内部不一致,探测 Qwen3.5-27B 表明精确计数可恢复但极少被采纳。 文章建议评估 3D 推理需关注精确正确性、一致使用性及图像依赖性,代码和数据集已公开。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。