研究揭示LLM预训练蒸馏中弱教师有效性

近期，研究人员Taiming Lu与Zhuang Liu发表了一篇关于大型语言模型预训练知识蒸馏的论文，核心观点是挑战传统认知，指出在预训练阶段进行知识蒸馏时，教师模型并不一定需要比学生模型更强或更大。 该研究通过调整语言建模损失与知识蒸馏损失的混合比例，发现即使是一个参数更少、训练不足的小型弱教师模型，也能有效提升较大学生模型的性能，打破了“强带弱”的固有假设。 进一步分析表明，过度强大的教师模型（如拥有更多参数或训练更多token）可能导致蒸馏收益出现饱和甚至逆转现象，而知识蒸馏机制在提升模型分布外泛化能力及下游任务表现上，通常优于单纯的域内数据拟合效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。