跳到正文
arXiv · NLP· Ziyang Cai, Yihe Dong, Dimitris Papailiopoulos, Shivam Garg·· 10 天前AI 评分30

扰动输入提升预训练知识蒸馏效果

Perturbing Inputs Improves Pretraining Distillation

AI 导读

通过输入扰动优化预训练知识蒸馏,学生在两种规模下优于标准蒸馏。 在 135M 参数模型上,性能提升 0.025 nats;在 0.5B 参数模型上,提升 0.020 nats,且 0.5B 模型在七个任务上的平均零样本准确率提升约 1 个百分点。 消融实验表明,对教师输入进行扰动对性能提升贡献最大。

来源:arXiv · NLP · arxiv.org