跳到正文
arXiv · NLP· Jie Wang, Shiwei Luo, Qi Zhang, Yuanbin Wu·· 2026-10-06AI 评分42

字节级语言模型:规模扩展、涌现抽象与信息分配

Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation

AI 导读

研究证明基于字节序列的Transformer在模型规模扩展时性能持续超越子词模型,并自发构建局部文本抽象。 通过叠加训练与哈希嵌入实现优势,将25%中间层限制在局部表征可维持下游性能;利用不确定性边界进行推测解码,使接受token数提升3.4倍。

来源:arXiv · NLP · arxiv.org