跳到正文
arXiv · AI· Yun Zhu Da Wang·· 2 天前AI 评分29

流式策略内蒸馏:解耦三个时钟以实现阶段化监督消耗

Streaming On-Policy Distillation: Decoupling Three Clocks for Stage-Wise Supervision Consumption

AI 导读

提出流式OPD,将生成、监督和更新解耦。 在GSM8K上,Qwen3-4B向Qwen3-0.6B蒸馏中,匹配预算使早期差距从4.55降至2.42分。 同步续训最佳准确率为73.39%,扩展记录为76.12%。

来源:arXiv · AI · arxiv.org