跳到正文
arXiv · NLP· Zishuo Bao, Jiaqi Leng, Junxiong Wang, Bowen Peng, Yucheng Lu·· 2026-10-06AI 评分36

将 token 训练模型蒸馏为字节级模型

Distilling Token-Trained Models into Byte-Level Models

AI 导读

论文提出一种高效蒸馏配方,可将现有的 token 训练 LLM 转换为 BLM,且保留可比能力。 该方法采用两阶段课程:先通过渐进知识蒸馏对齐字节级表示,再进行字节级微调,仅用约 125B 字节即可在 Llama、Qwen、OLMo 等模型族上保持教师模型的大部分性能。

来源:arXiv · NLP · arxiv.org