跳到正文
arXiv · NLP· Ziyang Zhang, Yubin Jing, Yuyao Li, Haofan Wang, Yichen Gong·· 4 天前AI 评分33

Concertina 通过折叠教师模型权重实现高效知识蒸馏

Folding Language Models into Themselves

AI 导读

提出 Concertina 方法,将 N 层教师模型折叠为单共享块,并在 Qwen3-4B 上验证其有效性。 该方法的 2.27B 学生模型在 22B tokens 上蒸馏,保留教师 90% 的常识/数学推理能力,八项基准平均 84%,超越 Qwen3-1.7B 基线。 代码已开源,证明紧凑模型无需大规模重训,折叠自身并配合正确数据即可恢复大部分能力。

来源:arXiv · NLP · arxiv.org