LLM 预训练中的知识蒸馏：强教师并非必需

研究表明在大型语言模型预训练中进行知识蒸馏时，教师模型不一定要比学生模型强。通过调整语言建模损失和知识蒸馏损失的混合比例，即使较小且训练不足的弱教师也能提升较大学生模型的性能。过强的教师（参数更多或训练更多token）可能导致蒸馏收益饱和甚至逆转，且蒸馏对分布外泛化及下游任务的提升通常优于域内拟合。