跳到正文
arXiv · NLP· Tianle Wang, Jiayu Liu, Ruizhi Zhao, Ning Miao·· 2026-10-08AI 评分35

SAPD:无 Rollout 自蒸馏实现高效离策略后训练

SAPD: Step-Aligned Privileged Distillation

AI 导读

提出无 Rollout 自蒸馏方法 SAPD,通过步骤对齐的特权蒸馏生成监督信号,在数学推理基准上平均超越 SFT 和标签平滑。 该方法将演示转化为步骤对齐的分布监督,相比离策略基线实现约 2 倍训练循环加速,且大幅保留代码领域的泛化性能。 验证了精心构建的监督可让完全离策略后训练成为具有竞争力且计算高效的替代方案。

来源:arXiv · NLP · arxiv.org