arXiv · ML· Yihao Ai, Beibei Lin, Weilong Yan, Huaijian Zhang·· 7 小时前AI 评分25
离线在线策略蒸馏中不完美的教师轨迹可学习性
Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers
AI 导读
该方法利用教师成功问题定义基准，计算教师失败轨迹的符号似然变化作为可学习性信号，为离线在线策略蒸馏提供免生成的轨迹权重。 在数学推理和代码生成任务中，该方法比离线在线策略蒸馏基线最高提升 2.7 个百分点，并匹敌或超越在线变体。 相比代表性在线方法需 3 块 GPU 和 36-48 GPU 时，该方法仅用 2 块 GPU 和约 22 GPU 时。
来源：arXiv · ML · arxiv.org