arXiv · AI· Joseph Lee, Yidi Huang, Dokyoon Kim, Shu Yang, Li Shen·· 6 小时前AI 评分28
辅助视角提升大语言模型预训练知识获取效果的研究
Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views
AI 导读
研究发现辅助视角（概念重构）是大语言模型预训练获取知识的关键因素。 实验表明，在固定 token 预算下，将资源分配给辅助视角而非改写，即使对事实回忆也有提升。 该研究揭示了数据多样性的重要性，并为合成数据增强及模型自我提升提供了清晰的方法论依据。
来源：arXiv · AI · arxiv.org