arXiv · ML· Xingwei Gan, Ying Zhu·· 10 天前AI 评分27
LAPO:结合强化学习与 SFT 的无 KL 对数平均策略优化用于 LLM 后训练
LAPO: KL-Free Logit-Averaged Policy Optimization to Leverage RL and SFT in LLM Post-Training
AI 导读
LAPO 提出无 KL 与 critic 的后训练框架,通过在 GRPO 中对策略与参考模型 logits 进行平均作为隐式正则化,稳定 rollout 轨迹。该方法在 Qwen2.5-Instruct 1.5B、3B、7B 上验证,MATH 任务准确率较标准 KL-GRPO 提升 7%-15%。混合教师策略可蒸馏回单学生网络,恢复标准 1× 推理延迟。
来源:arXiv · ML · arxiv.org