arXiv · NLP· Kai Tang, Xing Zheng, Haobo Wang, Guangcheng Zhu, Shenzhi Yang, Zhengqing Zang, Yingfan Ma, Bowen Song, Weiqiang Wang·· 8 小时前AI 评分31
SimOPD: 面向在线策略蒸馏的关系性知识迁移
SimOPD: Relational Knowledge Transfer for On-Policy Distillation
AI 导读
SimOPD 提出通过响应相似度分布提取教师内部知识，实现在线策略蒸馏中的关系性知识迁移。 方法使用配对记忆库匹配学生生成响应的相似度，保留表征自由度并免除跨模型投影需求。 在同架构与跨架构设置中，SimOPD 使总体平均分较最强基线提升最高 2.6 和 3.1 个百分点。
来源：arXiv · NLP · arxiv.org