重评估掩码扩散语言模型置信度重掩码

2026年10月28日，arXiv发布一项研究，重新评估掩码扩散语言模型（dLLM）中的置信度重掩码方法。研究者Stipe Frković等比较了WINO、Saber、COVER三种方法与Fast-dLLM的准确率-计算帕累托前沿。 结果显示，置信度重掩码在贪婪解码下的收益依赖特定设置。在较短块长度下，WINO等方法与Fast-dLLM表现相当；仅在较长块长度下才显现优势。在随机解码中，WINO虽减少生成多样性，但有助于恢复错误。 分析表明，当前瓶颈在于dLLM模型本身而非重掩码规则。若要进一步提升效果，需调整模型训练过程，单纯优化解码规则收益有限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。