跳到正文
arXiv · ML· Yingdong Shi, Zhihong Li, Changming Li, Jingyi Yu, Quan Li, Kan Ren·· 2026-10-14AI 评分35

OPMD: 超越输出监督的在策略机制蒸馏

OPMD: On-Policy Mechanism Distillation Beyond Output Supervision

AI 导读

OPMD 提出一种在策略机制蒸馏方法,通过在策略轨迹中内化与学生学习兼容的中间状态,解决教师与学生表示几何差异问题。 该方法在三种师生配置下均达到最高平均准确率,支持多教师蒸馏及跨家族微调,有效改进推理能力并改变中间计算策略。

来源:arXiv · ML · arxiv.org