跳到正文
arXiv · NLP· Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Yilin Cheng, Bichuan Feng, Pengfei Liu, Junfeng Fang, Xiang Wang·· 2026-10-16AI 评分30

SimCT:恢复跨分词器在策略蒸馏中丢失的监督信号

SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation

AI 导读

SimCT 通过扩展监督空间,将教师与学生模型在短多 token 续写上进行对比,解决了异构分词器因词汇不一致导致的监督信号丢弃问题。 该方法保持了在策略蒸馏损失形式不变,证明了这些单元是最细粒度的联合可分词监督接口。 在三组异构教师-学生模型对及数学推理、代码生成基准测试中,SimCT 相比共享词表蒸馏和基线方法取得一致提升,代码已开源。

来源:arXiv · NLP · arxiv.org