跳到正文
arXiv · ML· Liwei Zhang, ZhiMing Tong, Mochen Guan, Linzhe Li·· 9 天前AI 评分30

将 Qwen3.8-27B 混合注意力 LLM 转换为纯字节级模型

One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data

AI 导读

研究将 Qwen3.8-27B 的 248,320 词表缩减至 384 字节级条目,保留原有权重并在 8xH200 上训练 178.6 小时,核心能力在多数基准上与原模型无显著差异。 字符级中文任务性能显著提升,但吞吐量降至原模型的 1/4,且小词表引发 UTF-8 损坏等四种特有失效模式。

来源:arXiv · ML · arxiv.org