跳到正文
arXiv · NLP· Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg·· 13 小时前AI 评分25

离散随机定位(DSL):通过连续扩散语言模型解锁高效离散序列生成

Unlocking Continuous Diffusion Language Models via Discrete Stochastic Localization

AI 导读

提出连续状态框架 DSL,结合随机定位通道与单位球面嵌入,实现无需额外时间步条件的贝叶斯最优去噪器。 该框架支持随机顺序自回归及混合采样,在 OpenWebText 上微调预训练模型后显著提升 MAUVE 分数,且混合采样仅需 48 步即可运行。 这一方法在 $T=48$ 至 $T=1024$ 的各种步数预算下均优于掩码离散扩散模型,无需蒸馏即可实现并行生成与序列精化的非同步处理。

来源:arXiv · NLP · arxiv.org