跳到正文
arXiv · ML· Xinyu Liu, Kechen Jiao, Chunyang Xiao, Runsong Zhao, Junhao Ruan, Bei Li, Jiahao Liu, Qifan Wang, Xin Chen, Jingang Wang, Chenglong Wang, Tong Xiao, JingBo Zhu·· 10 天前AI 评分31

提出 TGPO 以解决大策略分歧下的在策略推理蒸馏问题

Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence

AI 导读

TGPO 是一种在大策略分歧设置下依然有效的在策略推理蒸馏方法,旨在解决现有基于 reverse KL (RKL) 的 OPD 方法在教师-学生策略分歧较大时失效的问题。

来源:arXiv · ML · arxiv.org