arXiv · NLP· Yupei Wang, Neil Mallinar, Mikhail Belkin, Alex Warstadt·· 3 天前AI 评分28
从语言建模损失中几何解耦概念学习
Geometrically Disentangling Concept Learning from the Language Modeling Loss
AI 导读
研究提出概念能量指标,揭示下一词元预测损失在预训练期间如何驱动不同概念的发展。该指标量化概念子空间与平均梯度外积的对齐程度。 实验基于 Pythia-410M 和 1B 模型的 19 个检查点及 12 种词法、句法与语义概念。
来源:arXiv · NLP · arxiv.org