Pythia模型主谓一致电路演化研究

Qing Yao等发布研究论文，追踪Pythia-1b和Pythia-410m模型训练中主语-动词数一致电路的演化过程。研究通过干预和电路追踪技术，监控模型训练过程中负责语法一致性的内部机制。结果显示，该语法行为在训练早期即被习得，但内部实现机制在后续阶段发生了显著重组。 在Pythia-1b模型中，负责数一致的注意力头数量从训练初期的两个转变为后期的单个新头。最终形成的语法电路呈现出显著的稀疏性特征，表明模型倾向于用更少、更专用的神经元模块处理特定语言规则。这一动态变化过程揭示了大语言模型在习得语言学知识时，内部表征并非静态稳定，而是经历持续的重组与优化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。