阿里语音AI· Qwen Audio·· 15 小时前AI 评分43
LoOPSD:通过层循环执行路径提升大模型自蒸馏推理能力
论文解读|LoOPSD:让大模型向“多算几层的自己”学习
AI 导读
LoOPSD通过搜索层循环路径构造教师,将额外计算的优势蒸馏给标准学生,提升Qwen3等模型的推理能力。 例如,Qwen3-1.7B在GSM8K任务上的准确率从42.30%提升至79.61%,且学生生成长度平均缩短至299.98 tokens。 该方法扩展了自蒸馏教师构造空间,为模型后训练提供了新的监督来源。
来源:阿里语音AI · mp.weixin.qq.com