跳到正文
arXiv · ML· Daocheng Fu, Rong Wu, Yu Yang, Jianbiao Mei, Licheng Wen, Xuemeng Yang, Yong Liu, Botian Shi, Yu Qiao, Pinlong Cai·· 3 天前AI 评分33

Proxy OPD: 使用可迁移相对代理更新的大语言模型在线策略蒸馏

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models

AI 导读

summary_zh: Proxy OPD 提出一种后训练方法,利用目标冻结基策略作为参考,通过代理奖励引导探索生成 token 级对数概率变化信号,实现在线策略蒸馏中跨目标复用奖励诱导改进。

来源:arXiv · ML · arxiv.org