跳到正文
arXiv · ML· Sherin Muckatira, Namrata Shivagunde, Vijeta Deshpande, Anna Rumshisky·· 2026-10-05AI 评分31

语言模型预训练中 Grokking 现象的类比研究:追踪迟滞的语法泛化

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization

AI 导读

该研究提出了基于暴露量的框架,以探究 LLM 预训练中的类 Grokking 动态。利用 BLiMP 最小对作为评估基础,在五个语法现象中观察到迟滞泛化现象。分析表明,泛化发生前后的检查点显示语法概念向量更具预测性,且注意力集中在少量注意力头上。

来源:arXiv · ML · arxiv.org