arXiv · ML· Gilad Turok, Yair Schiff, Chris De Sa, Volodymyr Kuleshov·· 14 天前AI 评分40
DUEL:精确似然重塑掩码扩散模型缩放定律及后续影响
DUEL: Exact Likelihood Reshapes Masked Diffusion Scaling Laws and Beyond
AI 导读
DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。
来源:arXiv · ML · arxiv.org