arXiv · ML· Yingdong Shi, Zhihong Li, Changming Li, Jingyi Yu, Quan Li, Kan Ren·· 2026-10-14AI 评分35
OPMD: 超越输出监督的在策略机制蒸馏
OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
AI 导读
OPMD 提出一种在策略机制蒸馏方法,通过在策略轨迹中内化与学生学习兼容的中间状态,解决教师与学生表示几何差异问题。 该方法在三种师生配置下均达到最高平均准确率,支持多教师蒸馏及跨家族微调,有效改进推理能力并改变中间计算策略。
来源:arXiv · ML · arxiv.org