arXiv · ML· Gengsheng Li, Mao Zheng, Mingyang Song, Ruiqi Liu, Tianyu Yang, Jie Sun, Qiyong Zhong, Haiyun Guo, Junfeng Fang, Dan Zhang, Jinqiao Wang·· 10 天前AI 评分28
Guided-OPD:面向多轮智能体的课程引导式在线策略蒸馏算法
On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents
AI 导读
研究者提出 Guided-OPD 算法,通过混合师生生成的轮次并实施衰减的课程引导,解决小模型误差累积导致轨迹偏离教师分布的问题。 在 ALFWorld 等基准上,使用 Qwen3-30B-A3B 教师模型蒸馏 Qwen3 学生模型,其平均分比标准 OPD 提升 21.1%,成功率提升 25.5%。 该算法在较小规模学生模型上带来更大收益,有效降低了多轮智能体任务对大型模型推理成本的依赖。
来源:arXiv · ML · arxiv.org