混合架构竞争学习揭示及分阶段训练提出

1. 12:00
   arXiv · NLP

   混合架构中的竞争学习现象及分阶段预训练方法

   现代混合架构存在“竞争学习”现象，线性递归比 Softmax 注意力更快掌握检索函数，导致后者学习受阻。在典型数据分布下，递归层会抑制其他层学习同一函数的信号。 该研究发现冻结递归层权重更新可辅助注意力学习检索，据此提出分阶段预训练方法。实验在最高 1B 参数的模型上验证，该方法显著降低语言建模损失，并提升常识推理及不同上下文长度的检索任务表现。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。