跳到正文
arXiv · NLP· Yupei Wang, Neil Mallinar, Mikhail Belkin, Alex Warstadt·· 3 天前AI 评分28

从语言建模损失中几何解耦概念学习

Geometrically Disentangling Concept Learning from the Language Modeling Loss

AI 导读

研究提出概念能量指标,揭示下一词元预测损失在预训练期间如何驱动不同概念的发展。该指标量化概念子空间与平均梯度外积的对齐程度。 实验基于 Pythia-410M 和 1B 模型的 19 个检查点及 12 种词法、句法与语义概念。

来源:arXiv · NLP · arxiv.org