arXiv · ML· Mahdi Sabbaghi, George Pappas, Hamed Hassani, Adel Javanmard·· 6 小时前AI 评分41
Advantage-Based On-Policy Distillation (AOPD) 基于优势加权优化在线策略蒸馏
When to Follow the Teacher: Advantage-Based On-Policy Distillation
AI 导读
提出 Advantage-Based On-Policy Distillation (AOPD) 方法，通过基于学生模型的反事实优势加权教师动作，区分教师偏好与实际有益行为。 AOPD 利用标准学生 rollout 和终端奖励的无偏估计器，无需额外 rollout 或奖励评估即可实现优势加权监督。 在数学、编程和 MedQA 实验中，AOPD 在外部教师和自我蒸馏设置中均优于蒸馏与 RL 基线。
来源：arXiv · ML · arxiv.org