跳到正文
arXiv · NLP· Albert Qin, Jonathan Cohen, Gautam Reddy·· 4 小时前AI 评分45

研究发现大语言模型通过稀疏键值对存储关系以支持类比认知地图

Cognitive Map in Large Language Models

AI 导读

研究发现十亿参数以上的大语言模型并非将实体定位在全局坐标系,而是将观察到的关系存储为成对链接。 模型通过稀疏分布的键值对实现实体与角色的绑定,研究人员通过干扰这些键值对成功植入了“虚假记忆”,改变了模型行为。 该内部组织机制类似认知地图,解释了大语言模型如何在信息有限时进行推理。

来源:arXiv · NLP · arxiv.org