跳到正文
arXiv · AI· Shuyue Stella Li, Priyanka Kargupta, Haocheng Wang, Jinu Lee, Dean Light, Shan Chen, Orevaoghene Ahia, Thomas L. Griffiths, Max Kleiman-Weiner, Jiawei Han, Asli Celikyilmaz, Yulia Tsvetkov·· 23 小时前AI 评分23

认知科学基础如何映射到大语言模型推理中

Cognitive Foundations for Reasoning and Their Manifestation in LLMs

AI 导读

研究构建包含28个认知元素的分类体系,结合18个模型的192K条推理轨迹与1346条人类有声思维数据进行对比分析。 基于发现模型与人类使用认知机制的差异,该框架开发了自动脚手架测试时推理引导技术,将最强模型在非结构化问题上的准确率提升9.7个百分点。 meta分析显示当前研究过度关注易量化指标,此框架通过建立认知科学与LLM研究的共享词汇,使模型能通过稳健认知机制而非虚假捷径进行推理。

来源:arXiv · AI · arxiv.org