arXiv · NLP· Qing Yao, Sasha Boguraev, Tiago Pimentel, Kyle Mahowald·· 4 小时前AI 评分25
Pythia 模型中主语-动词数一致语法电路的出现与稀疏化研究
The Emergence and Sparsification of a Syntactic Circuit
AI 导读
研究追踪 Pythia-1b 和 Pythia-410m 训练中主语-动词数一致电路，发现该语法行为虽早期习得但机制持续重组。 Pythia-1b 中负责数一致的注意力头从早期的两个变为后期的单个新头，且最终电路呈现显著稀疏性。 这些结果揭示了语言模型中语言学知识涌现及内部表征的动态变化规律。
来源：arXiv · NLP · arxiv.org