arXiv · NLP· Zhihan Yang, Wei Guo, Shuibai Zhang, Subham Sekhar Sahoo, Yongxin Chen, Arash Vahdat, Morteza Mardani, John Thickstun·· 4 小时前AI 评分25
RePlaid 证明了连续扩散模型在语言生成上的可扩展性，其计算差距仅为自回归模型的 20 倍。
Continuous Diffusion Scales Competitively with Discrete Diffusion for Language
AI 导读
RePlaid 在 OpenWebText 数据集上实现 22.1 的困惑度，性能超越 Duo 和 MDLM。 论文提出基于似然的训练方法，为连续扩散模型提供了理论优势。
来源：arXiv · NLP · arxiv.org