arXiv · NLP· Ziyang Zhang, Yubin Jing, Yuyao Li, Haofan Wang, Yichen Gong·· 4 天前AI 评分33
Concertina 通过折叠教师模型权重实现高效知识蒸馏
Folding Language Models into Themselves
AI 导读
提出 Concertina 方法,将 N 层教师模型折叠为单共享块,并在 Qwen3-4B 上验证其有效性。 该方法的 2.27B 学生模型在 22B tokens 上蒸馏,保留教师 90% 的常识/数学推理能力,八项基准平均 84%,超越 Qwen3-1.7B 基线。 代码已开源,证明紧凑模型无需大规模重训,折叠自身并配合正确数据即可恢复大部分能力。
来源:arXiv · NLP · arxiv.org