arXiv · ML· Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard·· 2026-10-14AI 评分43
超越 GRPO 与在线策略蒸馏:语言模型后训练的稀疏至稠密奖励原则实证研究
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
AI 导读
提出稀疏序列级奖励适用于教师探索,稠密 token 级监督适用于学生压缩的后训练奖励密度原则。 在 Qwen3-1.7B 学生模型上,经 RL 改进的 8B 教师通过稠密桥接蒸馏,在 MATH 和 AIME 2024 上分别达 79.3% 和 25.2%,均优于直接 GRPO 的 75.9% 和 19.8%。
来源:arXiv · ML · arxiv.org