混合架构中的竞争学习现象及分阶段预训练方法

现代混合架构存在“竞争学习”现象，线性递归比 Softmax 注意力更快掌握检索函数，导致后者学习受阻。在典型数据分布下，递归层会抑制其他层学习同一函数的信号。 该研究发现冻结递归层权重更新可辅助注意力学习检索，据此提出分阶段预训练方法。实验在最高 1B 参数的模型上验证，该方法显著降低语言建模损失，并提升常识推理及不同上下文长度的检索任务表现。