跳到正文
arXiv · ML· Samson Gourevitch, Yazid Janati, Eric Moulines, Eric P. Xing, Alain Durmus, Giacomo Zanella·· 9 小时前AI 评分25

基于 ODE 的离散扩散模型采样器:引入指数残差流

An ODE-based Sampler for Discrete Diffusion Models

AI 导读

论文提出指数残差流(ERFs)框架,为离散扩散模型建立确定性 ODE 采样基础。 该框架通过为每个 token 增加连续残差变量,使其按分段 ODE 确定性演化,当残差归零时改变离散状态,并证明该构造保持原扩散边缘分布。 ERFs 的确定性轨迹支持一致性蒸馏,在代码和文本生成等基准测试中表现出优于先前方法的经验性能。

来源:arXiv · ML · arxiv.org