arXiv · NLP· Leran Chen, Zhiyuan Yao, Lingnan Kong·· 21 天前AI 评分31
交错 On-policy Distillation 中 Teacher Bridges 的作用有多大?
How Much Do Teacher Bridges Matter in Interleaved On-Policy Distillation?
AI 导读
研究对比了 Qwen3-1.7B 学生模型与 Qwen3-4B-Instruct-2507 教师模型,发现教师文本桥梁在短训练和 BF16 推理下未带来准确率提升。 桥梁仅占 token 的 2.7%,其梯度与模型梯度近乎正交。 该结论仅适用于 BF16 推理场景,在 FP32 下模型常达到长度限制。
来源:arXiv · NLP · arxiv.org