arXiv · NLP· Dingyang Chen, Jinfeng Xiao, Zhenyu Zhang, William Hu, Ziyu Wang, Yang Liu, Shirley Zhang, Yuan Ling, Xinyang Shen, Qi Zhang, Peijie Qiu·· 3 天前AI 评分29
STONE:基于简化问题的无标签自蒸馏推理方法
Simplify, Agree, Distill: Label-Free Self-Distillation with Stepping Stones
AI 导读
提出无标签自蒸馏方法 STONE,通过将模型在较易相关问题上的共识作为“踏脚石”强化教师模型,无需人工标注。在 Qwen3-4B 和 Qwen3-8B 的思考模式下,该方法在五个数学基准测试中取得最高平均准确率;非思考模式下分别提升 13.2 和 22.7 分,优于 OPSD 基线。
来源:arXiv · NLP · arxiv.org