跳到正文
arXiv · NLP· Fei Wu, Zhenrong Zhang, Jianshu Zhang, Jun Du·· 2026-10-15AI 评分26

VASPO: 结合特权价值估计的自蒸馏算法

VASPO: Self-Distillation with Privileged Value Estimation

AI 导读

VASPO通过结合自教师与Critic对特权信息的评估,在PPO框架中实现了更有效的自蒸馏监督。 该方法在6个数学推理基准测试中,使Qwen3-4B和OLMo3-7B模型的平均准确率分别比PPO提升2.59和1.81个百分点。 作者已开源相关代码。

来源:arXiv · NLP · arxiv.org