TOPSD 通过可教前缀解决多语言推理蒸馏漂移

2026年11月6日，arXiv 发布论文 TOPSD。该研究针对多语言推理蒸馏中的教师漂移问题，提出通过筛选“可教前缀”进行优化。在覆盖十种语言的实验中，TOPSD 持续优于传统的 OPSD 方法，尤其在低中资源语言上表现更佳。该方法利用教师-学生似然估计漂移起点，并验证教师能否从前缀恢复正确答案，仅对通过验证的前缀应用蒸馏。

AI 根据报道生成 · 22 小时前更新