arXiv · ML· Yue Wu, Xueyu Zhou, Yangrong Hu, Jian Huang·· 9 天前AI 评分34
自举式在线策略蒸馏 BOPD 框架
Bootstrapped On-Policy Distillation
AI 导读
针对在线策略自蒸馏(OPSD)在长期训练中因师生分布失配导致性能退化的问题,研究提出自举式在线策略蒸馏(BOPD)框架。 该框架采用两阶段设计:先利用 OPSD 将参考条件信号内化至中间模型,再将该模型蒸馏至全新模型副本,避免误导性监督。 实验表明,BOPD 在数学推理和代码生成任务上的表现优于初始模型及 OPSD 教师模型。
来源:arXiv · ML · arxiv.org