RePlaid证明连续扩散语言模型缩放定律

RePlaid团队重新审视基于似然的连续扩散语言模型Plaid，通过将其架构与最新的离散DLM对齐，构建了RePlaid模型。该研究在统一框架下建立了连续DLM的首个缩放定律，证明其在性能上可媲美离散模型。\n\n实验结果显示，RePlaid在OpenWebText数据集上实现了22.1的困惑度，超越了Duo和MDLM等模型。该模型在语言生成方面的计算差距仅为自回归模型的20倍，验证了连续扩散模型的可扩展性优势。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。