arXiv · AI· Jimin Mun, Maarten Sap, Yanai Elazar·· 4 天前AI 评分36
LeCAT:衡量大语言模型从预训练数据中学习分类知识
LECAT: Measuring LLM Category Learning from Pretraining Data
AI 导读
研究团队提出LeCAT框架,用于分析大语言模型如何从预训练数据中习得分类知识。 该框架使用199个精选的类别-特征对评估开源模型,发现加强语境和共现概率(PMI)能提升大模型的学习效果,而逐字重复规则则削弱了灵活性。通过从头训练一个68M参数的模型,实验证实了多样化知识表达混合能带来更鲁棒的分类学习,凸显了预训练数据表达方式对模型获取健壮分类知识的关键影响。
来源:arXiv · AI · arxiv.org