arXiv · AI· Yun Zhu Da Wang·· 2 天前AI 评分29
流式策略内蒸馏:解耦三个时钟以实现阶段化监督消耗
Streaming On-Policy Distillation: Decoupling Three Clocks for Stage-Wise Supervision Consumption
AI 导读
提出流式OPD,将生成、监督和更新解耦。 在GSM8K上,Qwen3-4B向Qwen3-0.6B蒸馏中,匹配预算使早期差距从4.55降至2.42分。 同步续训最佳准确率为73.39%,扩展记录为76.12%。
来源:arXiv · AI · arxiv.org