跳到正文
arXiv · ML· Audrey Xie, Ludwig Schmidt, John Duchi·· 7 天前AI 评分20

知识蒸馏的两个数学模型

Two mathematical models of knowledge distillation

AI 导读

研究者提出知识蒸馏的数学模型,证明蒸馏通过使优化轨迹更易优化来提升性能,而非获得更优模型。 在泛化线性模型和秩-1矩阵近似任务中,使用随机梯度下降训练时,蒸馏训练的学生模型均比非蒸馏模型更快地拟合或收敛。 该理论明确了蒸馏在优化速度而非泛化能力上的优势,实验结果也印证了这些理论预测。

来源:arXiv · ML · arxiv.org