arXiv · NLP· Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald·· 3 小时前AI 评分26
深度增长与循环机制如何塑造语言模型的上下文学习
How Depth Growth and Looping Shape In-Context Learning in Language Models
AI 导读
研究发现深度增长与循环语言模型具备更强的从上下文学习的倾向，且比全深度密集参考模型更早获得、更强烈保留上下文学习能力。分析涵盖预训练参数达 3B 的语言模型及受控任务，追踪注意力头显示深度增长将早期归纳头传播至各层。消融实验证实该类模型更依赖归纳排序头进行少样本表现及后续词预测，表明参数复用塑造了能力发展及支持机制。
来源：arXiv · NLP · arxiv.org