跳到正文
arXiv · NLP· Jie Sun, Mao Zheng, Mingyang Song, Zeyuan Liu, Gengsheng Li, Houcheng Jiang, Yilin Cheng, Bichuan Feng, Yuchen Cai, Junfeng Fang, Xiang Wang·· 2026-10-14AI 评分37

TrustMOPD:基于可靠性感知的多教师在线策略蒸馏方法

Distill What You Trust: Reliability-Aware Multi-Teacher On-Policy Distillation

AI 导读

TrustMOPD 提出一种标签无关、token 级别监督分配的多教师在线策略蒸馏方法,解决了动态适应性难题。 实验显示,该方法在 SingleCap 和 MultiCap 上分别填补了 91.5% 和 98.0% 的师生分数差距,优于最强基线。 其性能接近基于标签的蒸馏方法,且无需领域标签,代码已公开。

来源:arXiv · NLP · arxiv.org