跳到正文
arXiv · AI· Satoshi Hayakawa·· 1 天前AI 评分28

From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion

From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion

AI 导读

提出无需训练的committed reveal sampling(CRS)采样器,通过存储并插入选定的argmax token作为持久上下文,改变了离散扩散模型中并行更新token的机制。 在8至64次函数评估预算下,CRS的生成困惑度(GenPPL)低于固定$p=0.95$和$p=0.9$的top-$p$基线,且分布距离SOL同样随持久上下文降低。

来源:arXiv · AI · arxiv.org