跳到正文
arXiv · ML· Jingru Yang, Jinhang Wu, Minjing Shi, Shengfeng He, Xuyan Li, Man Tan, Biye Li·· 2026-10-12AI 评分26

CAST: 用于跨分词器在线策略蒸馏的信用分配方法

CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation

AI 导读

论文提出CAST框架解决跨分词器在线策略蒸馏中的信用分配难题。 该方法在Qwen3-8B到Mistral-7B等模型迁移中,平均性能较基线提升2.45分。 CAST能精确求解KL正则化问题,适用于共享分词器场景。

来源:arXiv · ML · arxiv.org