arXiv · NLP· Claas Beger, Ryan Yi, Shuhao Fu, Kaleda Denton, Arseny Moskvichev, Sarah W. Tsai, Sivasankaran Rajamanickam, Melanie Mitchell·· 6 小时前AI 评分28
ConceptARC 基准研究揭示：AI 模型在文本与视觉模态下的表现并非等同其抽象推理能力
Distinguishing Performance From Competence in Evaluations of Humanlike Abstract Reasoning
AI 导读
研究利用 ConceptARC 基准指出，AI 模型在文本模态下的表现会高估其实际抽象能力，而在视觉模态下则会低估。最佳模型的规则常基于具体领域概念，抓取目标抽象的频率远低于人类。 仅依赖输出准确率评估能力会产生偏差，该研究发表于 NeurIPS 2026 评测与数据集赛道。
来源：arXiv · NLP · arxiv.org