arXiv · AI· Ali Mohammadi Ruzbahani, Rezvan Abouzadeh·· 4 天前AI 评分23
模型退火:通过复习与巩固实现数据高效学习
Model Annealing: Data-Efficient Learning through Review and Consolidation
AI 导读
模型退火通过复习与巩固实现数据高效学习,在CIFAR-100等数据集的33种配置中,平均将AdamW训练的模型top-1准确率提升1.3分。 该方法利用内存中的过去模型状态进行再学习,并在学生模型与内存预测分歧最大处生成对抗性梦境以优化训练。 它在校准和对抗鲁棒性上优于最近竞争对手snapshot distillation,且推理无额外成本。
来源:arXiv · AI · arxiv.org