跳到正文
arXiv · ML· Jama Hussein Mohamud, Mohsin Hasan, Mirco Ravanelli, Yoshua Bengio·· 24 天前AI 评分28

掩码扩散模型中的自适应顺序策略

Adaptive Order Policies for Masked Diffusion

AI 导读

该研究为掩码扩散模型提出自适应顺序策略,通过轻量级策略网络决定解码顺序,提升生成质量。 新方法将掩码扩散损失按策略概率重新加权,使解码器优先处理易正确识别的位置。实验证明,该策略优于随机或启发式方法,在组合、蛋白质及代码语言任务中表现更优。 作者发现,在固定解码器下训练策略即可提升性能,联合训练策略与解码器可进一步实现相互适应。

来源:arXiv · ML · arxiv.org