跳到正文
arXiv · NLP· Daniel Balcells, Andrew Jun Lee, Chirag Rastogi, Paul M. Riechers, Adam Shai, Xavier Poncini·· 3 天前AI 评分42

研究发现开源大语言模型在上下文中发展出信念状态几何结构

Large Language Models Develop Belief State Geometry In-Context

AI 导读

研究在6个开源LLM中发现,信念状态可从残差流激活中线性解码,峰值R²值达0.83-0.99。 该结论基于40个非平凡信念结构的隐马尔可夫模型数据,并通过修补与转向干预验证了功能相关性。 结果在表征层面证明,开源LLM的上下文学习近似于对上下文推断生成模型的最优贝叶斯预测。

来源:arXiv · NLP · arxiv.org