KapL等人研究深度增长与循环模型对ICL的影响

KapL等人在arXiv发布论文，研究深度增长与循环机制如何塑造语言模型的上下文学习能力。研究发现，这类模型具备更强的从上下文学习（ICL）倾向，能比全深度密集参考模型更早获得并更强烈地保留该能力。机制分析涵盖3B参数模型及受控任务，结果显示深度增长能将早期归纳头传播至各层。消融实验进一步证实，该类模型更依赖归纳排序头进行少样本表现及后续词预测，表明参数复用塑造了能力发展及支持机制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。