arXiv · ML· Mansoor Ahmed, Lilia Chebbah, Jenny Dinh, Murray Patterson, Hemanth Venkateswara·· 3 天前AI 评分26
Domino: 利用一阶马尔可夫链实现少步掩码扩散模型的联合去掩码
Domino: Joint Unmasking via First-order Markov Chain for Few-Step Masked Diffusion
AI 导读
Domino 通过一阶马尔可夫链建模同一去噪步骤内揭示位置间的条件依赖,优化掩码扩散模型的少步采样。 该方法在预训练 MDM 去噪器隐状态上实现,仅增加 2.6% 参数开销,训练时冻结去噪器。 在 LM1B 等文本数据集上将少步生成困惑度降低 1.7 至 3.8 倍,分子样本有效性提升 1.5 倍。
来源:arXiv · ML · arxiv.org