跳到正文
arXiv · AI· Jimin Mun, Maarten Sap, Yanai Elazar·· 4 天前AI 评分36

LeCAT:衡量大语言模型从预训练数据中学习分类知识

LECAT: Measuring LLM Category Learning from Pretraining Data

AI 导读

研究团队提出LeCAT框架,用于分析大语言模型如何从预训练数据中习得分类知识。 该框架使用199个精选的类别-特征对评估开源模型,发现加强语境和共现概率(PMI)能提升大模型的学习效果,而逐字重复规则则削弱了灵活性。通过从头训练一个68M参数的模型,实验证实了多样化知识表达混合能带来更鲁棒的分类学习,凸显了预训练数据表达方式对模型获取健壮分类知识的关键影响。

来源:arXiv · AI · arxiv.org