PotARCin：抽象推理任务中技能习得的多维评估基准

PotARCin 扩展了 ARC 基准，从定义、分类等五个维度评估模型对抽象规则的掌握，而非仅测试输出正确性。 在 ARC-AGI-1 训练集上，多维评估与标准 ARC 评估之间存在 25-52 个百分点的性能差距，且改变了模型排名。 在人工构建的 P-ARC 测试集上，各维度准确率仅为 1-8%，凸显了整体性评估的重要性。