arXiv · AI· David Nordfors·· 14 天前AI 评分40
Qwen3.8-27B 神经元中的原型语境:智能的架构?
Archetypal contexts in the neurons of language models: an architecture for intelligence?
AI 导读
研究在 Qwen3.8-27B 中验证了模型将关系模式与主题域分离,发现“原型”、“主题”和“语言”分别由不同神经元集承载。 预训练过程中,模型层自组织成“三明治”结构:外层处理语言,中层处理主题,核心层处理原型;该结构在映射的所有模型中均自发出现。 该结构被认为是类比智能的机制,论文已发布神经元集、文本及代码等复现包供他人验证。
来源:arXiv · AI · arxiv.org