arXiv · NLP· Pengcheng Huang, Tianming Liu, Zhenghao Liu, Yukun Yan, Shuo Wang, Tong Xiao, Zulong Chen, Maosong Sun·· 6 小时前AI 评分42
掩码扩散模型解码偏差实证分析与 Uncode 框架
Empirical Analysis of Decoding Biases in Masked Diffusion Models
AI 导读
掩码扩散模型的不确定性解码策略引发刚性边界偏差和琐碎符号偏差，限制模型推理能力。 研究提出 Uncode 解码校准框架，利用两个互补先验重塑全局解码轨迹并促进内容信息量。 在 7 个推理密集型基准上，Uncode 比现有策略性能提升超过 7%，表现接近同参数自回归模型。
来源：arXiv · NLP · arxiv.org