arXiv · ML· Stipe Frkovi\'c, Metod Jazbec, Dan Zhang, Christian A. Naesseth, Ilija Bogunovic, Eric Nalisnick·· 6 小时前AI 评分24
重评掩码扩散语言模型中的置信度重掩码方法
Re-evaluating Confidence Remasking in Masked Diffusion Language Models
AI 导读
研究显示，置信度重掩码在贪婪解码下的收益依赖特定设置。 在较短块长度下，WINO等三种方法与Fast-dLLM表现相当，仅在较长块长度下才显现优势。随机解码中，WINO虽减少生成多样性，但有助于恢复错误。 分析表明，dLLM本身而非重掩码规则是瓶颈，改进需调整训练过程。
来源：arXiv · ML · arxiv.org