跳到正文
arXiv · NLP· Liu Kaiyuan, Zhuang Ziyuan, Ma Haoxuan, Gu Yannian, Song Mingfei, Weng Rongxiang, Ye Jieping·· 6 小时前AI 评分25

RGBM:基于费米子几何视角的多教师在线策略蒸馏

A Fisher-Geometric View of Multi-Teacher On-Policy Distillation

AI 导读

提出 RGBM 两阶段整合程序,证明多教师在线策略蒸馏目标二阶下等价于费米子合并目标。 第一阶段在任务向量子空间限制合并,通过未标记提示词求解隐式奖励系数;第二阶段依据残差能谱门控更新,零额外联合训练步数。 在两个开源整合套件上,仅第一阶段合并即匹敌或超越全量训练蒸馏,且优于所有未门控写回方法。

来源:arXiv · NLP · arxiv.org