跳到正文
机器之心·· 6 小时前精选AI 评分84

TraceForge 技术报告发布:利用原生思维链合法反超闭源模型蒸馏效果

一人,合法,反超原版,王琰:填平闭源模型的思维链护城河

AI 导读

独立研究员王琰发布 TraceForge 技术报告,提出 family-native trace 方法,通过同族模型生成原生思维链来替代闭源模型的隐藏推理过程。在 HumanEval+ 和 MBPP+ 基准上,该方法的成绩分别比直接蒸馏 Claude 思维链高出 3.7 分和 7.1 分。整个训练过程仅使用同族模型的数据,没有任何闭源厂商的 token 进入梯度计算,提供了一条合法的蒸馏替代路径。

推荐理由

展示了绕过闭源思维链限制的合法蒸馏方法,且合成轨迹性能反超直接蒸馏的真实轨迹。

来源:机器之心 · mp.weixin.qq.com