arXiv · AI· Satoshi Hayakawa·· 1 天前AI 评分28
From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion
From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion
AI 导读
提出无需训练的committed reveal sampling(CRS)采样器,通过存储并插入选定的argmax token作为持久上下文,改变了离散扩散模型中并行更新token的机制。 在8至64次函数评估预算下,CRS的生成困惑度(GenPPL)低于固定$p=0.95$和$p=0.9$的top-$p$基线,且分布距离SOL同样随持久上下文降低。
来源:arXiv · AI · arxiv.org