arXiv · AI· Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang·· 2026-10-14AI 评分22
SGPO:面向 LLM 推理的策略引导策略优化
Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning
AI 导读
提出 SGPO 方法,通过可复用的策略蒸馏替代轨迹模仿,在四个数学基准测试中平均得分比最强基线高 2.2 分(Qwen2.5-7B-Instruct)。 使用 token-level forward-KL 目标传输策略条件带来的分布偏移,并采用自适应实例级权重增强指导。 该方法比直接轨迹模仿更具选择性,且策略蒸馏能力与基础模型能力呈互补扩展关系。
来源:arXiv · AI · arxiv.org