arXiv · AI· Han Cui, Jianhao Yan, Yun Luo, Hongbo Zhang, Zhizhang Fu, Yue Zhang·· 2026-10-05AI 评分30
在策略蒸馏的收益与崩溃:强化学习视角
Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
AI 导读
该研究从强化学习视角解释在策略蒸馏导致生成退化的机制。实验表明,当教师模型的隐式奖励可靠时,在策略蒸馏能提升性能而不扩展学生能力;若偏好错位,隐式奖励模型会放大过长重复的学生输出。训练中屏蔽不健康响应及使用监督微调初始化可有效缓解崩溃现象。
来源:arXiv · AI · arxiv.org