On-Policy Transition Distillation: 基于策略迁移蒸馏优化学生模型性能

研究提出 On-Policy Transition Distillation (OPTD)，通过匹配教师与学生模型在中间层的预测变化来增强监督信号。 评估显示在三个骨干模型和八项基准测试中，OPTD 在双域和三域蒸馏中取得最佳或并列最佳表现。 在三域设置下，OPTD 恢复了约 90% 的教师-学生能力差距，优于 OPD 的约 75%。