跳到正文
arXiv · NLP· Mingwei Xu, Hao Fang·· 2026-10-06AI 评分31

基于正样本同步策略自蒸馏的推理能力改进:POPO 框架

Improving Reasoning Ability via Asynchronous On-Policy Self-Distillation under Positive Rollouts

AI 导读

提出仅使用正样本的在线自蒸馏 RLVR 框架 POPO,在 Qwen-Math-7B 模型上 AIME 2025 基准得分达 36.67%,优于 GRPO 的 30.00%。 POPO 采用双生子策略网络和动量自适应法则进行异步策略进化,并以有界相似度惩罚替代 KL 散度来稳定优化过程。 该方法证明仅需正样本的重分配即可隐式生成负梯度,且通过消融实验验证了框架的有效性与鲁棒性。

来源:arXiv · NLP · arxiv.org