跳到正文
arXiv · NLP· Parikshit Bansal, Sujay Sanghavi·· 11 天前AI 评分36

扩散语言模型近似联合采样:轻量采样层实现并行多 Token 生成

Enabling Approximate Joint Sampling in Diffusion LMs

AI 导读

提出一种针对扩散语言模型的近似联合采样方法,通过附加轻量级单层“采样器”实现单次全模型前向传播后多次采样层前向传播,并行解掩码生成文本。在 Dream-7B 系列模型上,每步解掩码 4 个 token 时,该算法 MAUVE 得分达 0.87,显著优于边际基线的 0.31。 该方法在预训练和指令微调模型的语言建模、数学及代码任务中验证有效,平衡了生成速度与联合分布准确性。

来源:arXiv · NLP · arxiv.org