arXiv · AI· Jaewon Cho, Minseo Yoon, Jinyoung Park, Jinwoo Seo, Jaewon Chu, Alice Oh, Hyunwoo J. Kim·· 23 小时前AI 评分22
TOPSD 通过可教前缀解决多语言推理蒸馏中的教师漂移问题
Knowing When to Teach: Learning from Teachable Prefixes in Multilingual Reasoning Distillation
AI 导读
TOPSD 通过筛选可教前缀优化多语言推理蒸馏，在十种语言实验中持续优于传统 OPSD，尤其在低中资源语言表现更佳。 该方法利用教师-学生似然估计漂移起点，并验证教师能否从前缀恢复正确答案，仅对通过验证的前缀应用蒸馏。
来源：arXiv · AI · arxiv.org