arXiv · AI· Shuzhi Liu, Archana Warrier, Dat Nguyen, Chengqi Zheng, Kevin Ellis, Yewen Pu·· 24 天前AI 评分43
基于 ARC-AGI-3 的人类未知世界学习 Think-Aloud 数据集
How Humans Learn Unfamiliar Worlds: A Think-Aloud Dataset on ARC-AGI-3
AI 导读
研究构建首个记录人类发现并使用新环境机制的 think-aloud 数据集,包含 64 名参与者的 144 条轨迹及 250 条 LLM 轨迹。 数据集标注了机制触发与认知关联,发现人类成功轨迹中定性表征占比达 50.0%,显著高于 LLM 的 14.3%。 该分析表明 LLM 在现有任务中表现饱和,需开发更具挑战性的下一代基准测试。
来源:arXiv · AI · arxiv.org