arXiv · NLP· Yang Li, Gongle Xue, Yuheng Yuan, Yijia Guo, Shizhe Zhang, Liwen Hu, Lei Ma·· 7 天前AI 评分28
诊断推理语言模型的在线策略自蒸馏
Diagnosing On-Policy Self-Distillation for Reasoning Language Models
AI 导读
研究表明在线策略自蒸馏在0.6B-8B参数模型中仅能在狭窄兼容区提升推理,否则导致行为崩溃。 研究发现教师信号由推理模式对齐和完整前缀塑造,并非仅依赖特权语义,且无法预测下游性能。 因此该算法属于敏感方法,而非普遍可靠的推理增强后训练手段。
来源:arXiv · NLP · arxiv.org