跳到正文
arXiv · NLP· Georgios Batzolis, Mark Girolami, Luca Ambrogioni·· 11 天前AI 评分32

CoBit:基于比特流扩散的语言建模

CoBit: Language Modeling with Bitstream Diffusion

AI 导读

CoBit 是一种连续扩散语言模型,通过联合去噪固定宽度二元令牌代码生成文本,将代码比特分组为单个 Transformer 补丁以保留序列长度。CoBit-S(130M 参数)在 LM1B 和 OpenWebText 上的生成困惑度分别为 59.76 和 27.06;扩展到 462M 参数后,OpenWebText 困惑度降至 19.48。

来源:arXiv · NLP · arxiv.org