跳到正文
arXiv · NLP· Jack T. Parley·· 9 天前AI 评分30

基于Transformer的语言模型内部-外部计算的分阶段涌现机制研究

Stagewise and interpretable emergence of inside-outside computation in Transformer-based language models

AI 导读

该研究通过合成无上下文自由文法揭示Transformer学习内部-外部计算的分阶段动态。 模型先利用浅层Bigram局部信息,随后在中间层编码隐树变量以消除歧义,最后半层网络逐步优化Token预测。 这种计算结构与真实LLM研究结果相似,为理论研究提供了可解析的控制场景。

来源:arXiv · NLP · arxiv.org