跳到正文
arXiv · AI· Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Mark Endo, Ryan Nayebi, Akira Nishii, Maximilian Rokuss, Paola Avila Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He, Xin Chen, Yue Yao, Robert Tibshirani, Jeffrey J. Nirschl, Serena Yeung-Levy·· 2026-10-06AI 评分31

MMBU:迄今最大多模态生物医学理解基准,评测 21 个视觉语言模型的感知能力

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

AI 导读

研究者推出 MMBU 多模态生物医学理解基准,覆盖 35 个子模态,是迄今最大的生物医学视觉语言基准,包含无定位分类、定位分类和目标检测的开放与闭源版本。 主对比评测了 16 个开放权重和 5 个前沿 VLM,发现医学适配虽能带来一定提升,但既有基准上的高准确率常掩盖视觉感知与领域泛化的不足。 团队还定义了开放式 MMBU 困难集,分为公开子集与留出私有子集,用于压力测试前沿模型。

来源:arXiv · AI · arxiv.org