跳到正文
arXiv · NLP· Shayan Talaei, Agam Bhatia, Arshia Soltani Moakhar, Jonas H\"ubotter, Amin Saberi, Azalia Mirhoseini·· 10 天前AI 评分36

Speculative Self-Distillation 实现高效知识内化

Speculative Self-Distillation enables Efficient Knowledge Internalization

AI 导读

提出Speculative Self-Distillation (SSD)方法,通过混合策略自蒸馏显著降低训练成本。 SSD 在三个闭卷问答基准上比全策略蒸馏减少 38-69% 的监督 token,同时在遗忘测试中保留最优通用能力。 该方法建立了自蒸馏新的精度-效率-遗忘 Pareto 前沿。

来源:arXiv · NLP · arxiv.org