跳到正文
arXiv · NLP· Qi Chen, Zifeng Cheng, Zhiwei Jiang, Qing Gu·· 3 天前AI 评分26

SemMask:用于扩散语言模型语义优先渐进掩码的范式

SemMask: Semantic-Prioritized Progressive Masking for Diffusion Language Models

AI 导读

SemMask提出一种语义优先的渐进掩码微调范式,使扩散语言模型优先解码高信息语义token,以解决伪自回归和功能词优先偏差。 该范式利用原始DLM对每个token的梯度识别语义token,并在掩码阶段优先保留这些token,同时调整损失权重以强化早期预测。

来源:arXiv · NLP · arxiv.org