跳到正文
arXiv · NLP· Lavinia Ghita, Dhruv Desai·· 3 天前AI 评分30

预训练优化器增益能否迁移至 KL 蒸馏?

Do Pretraining Optimizer Gains Transfer to KL Distillation?

AI 导读

预训练优化器的增益不会自动迁移到 KL 蒸馏。 研究对比 AdamW、AdaGrad、SOAP 及 Muon 在 Qwen 模型蒸馏中的表现,发现无一致优于 AdamW 的质量与时间权衡。 AdamW 通常验证 KL 最低,SOAP 增加显著训练耗时,结论依具体可行配方而定。

来源:arXiv · NLP · arxiv.org