跳到正文
arXiv · AI· Sirui Chen, Yunzhe Qi, Haobo Xu, Jiaru Zou, Mengting Ai, Zihao Li, Jingrui He·· 5 小时前AI 评分20

MPOPD:改进在策略蒸馏的提出策略方法

Proposing Better Rollouts for On-Policy Distillation

AI 导读

论文提出混合提案在策略蒸馏(MPOPD),针对在策略蒸馏(OPD)中固定提出策略导致的教师-学生失配问题,设计了一种基于相对教师支持的局部信任区域目标。 该方法构建学生策略与教师策略的几何混合分布,通过近似提案策略实现单次前向传播生成轨迹,在16个数学、知识与医学推理基准测试上验证了优势。

来源:arXiv · AI · arxiv.org