arXiv · ML· Bowen Fang (Columbia University), Dingmin Wang (AWS AI Lab), Hengzhi Pei (Amazon AGI)·· 14 天前AI 评分38
D^2-OPD: 分离方向与距离的推理式 On-Policy 蒸馏
$D^2$-OPD: Separating Direction and Distance in Extrapolative On-Policy Distillation
AI 导读
D^2-OPD 将 On-Policy 蒸馏中的外推方向与距离解耦,通过固定 KL 约束限制目标偏移,并结合教师策略更新与初始差距确定方向。 该方法在三种数学推理场景下均取得最高分,较最强基线提升最多 9.45 分,验证了各组件的有效性。
来源:arXiv · ML · arxiv.org