跳到正文
arXiv · AI· Feiyang Chen, Runze Ma, Zichen Wang, Jiong Lou, Zihan Wang, Shuangjia Zheng, Jie Li·· 2026-10-16AI 评分44

SRD 方法让模型从未经验证的对等生成中学习并提升数学推理能力

Learning from Unverified Peers via Shared Residual Distillation

AI 导读

提出共享残差蒸馏(SRD)方法,无需外部监督即可从模型自身未验证的对等轨迹中学习,提升 Qwen3 系列模型 AIME24--26 avg@12 得分。 在 Qwen3-1.7B、4B 和 8B 上,AIME 平均分数分别从 11.02 升至 16.20、19.07 升至 45.46、21.39 升至 54.44。训练后的模型在推理时无需对等辅助,且未在两项通用能力基准上出现性能下降。

来源:arXiv · AI · arxiv.org