跳到正文
arXiv · ML· Mingyuan Li, Yucheng Li, Xiaxia Wang, Gong Cheng·· 7 小时前AI 评分28

CD-OPD 通过上下文摘要优化在线策略蒸馏

CD-OPD: Contextual Digest for On-Policy Distillation

AI 导读

CD-OPD 在八项基准测试中将平均准确率提升 1.32-7.05 个百分点。 该方法利用教师生成的依赖图谱构建上下文摘要,并通过在线元重加权优化更新方向。 CD-OPD 将协作失败率降低 27.4%-56.4%,解决了在线策略蒸馏中的教师接管错误问题。

来源:arXiv · ML · arxiv.org