LLM预训练知识获取机制研究

2026年10月21日，arXiv发布一项关于大语言模型预训练的研究。该研究由Joseph Lee等人完成，并被EMNLP 2026 Findings收录。 研究核心发现表明，辅助视角（即概念重构）是LLM在预训练阶段获取知识的关键因素。实验设计通过固定token预算，证明将资源分配给辅助视角而非单纯改写，能够显著提升模型的事实回忆能力。 该成果揭示了数据多样性对预训练的重要性，为后续合成数据增强及模型自我提升提供了明确的方法论依据，填补了当前对LLM预训练知识获取机制理解上的空白。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。