跳到正文
arXiv · AI· Qiuyi (Richard), Zhang, Zhen Xu, Jing Gu, Seojin Bang, Arnav Mohanty Das, Yaning Hu, Gautam Kumar, Jared Lichtarge, Le Xue, Bettina Catoto, Akul Datta, Daniel Luo, Farha Khan, Marcella Valentine, Yinfei Yang, Andrew M. Dai·· 24 天前AI 评分38

DecoyCount:评估视觉计数中的感知与推理错位

DecoyCount: Evaluating Visual-Reasoning Misalignment in Counting

AI 导读

研究团队提出 DecoyCount 基准,指出前沿模型在视觉计数上准确率低于 50%,存在 11.8-22.1 个百分点的推理对齐差距。该差距源于模型无法自主选择正确的感知过程,且更强模型或增加思考预算反而可能扩大这一错位。通用推理能力的增强未能有效转化为对齐的视觉推理,人类视觉预期错位仍是性能瓶颈。

来源:arXiv · AI · arxiv.org