跳到正文
arXiv · ML· Shuibai Zhang, Fred Zhangzhi Peng, Yiheng Zhang, Jin Pan, Grigorios G. Chrysos·· 14 天前AI 评分34

修正型扩散语言模型:通过显式监督可见错误token提升迭代纠错能力

Corrective Diffusion Language Models

AI 导读

研究指出标准Masked Diffusion Language Models(MDLMs)无法可靠修正错误token,关键原因是其训练仅监督masked位置,导致模型无法区分正确与错误的可见token,进而阻碍基于置信度的迭代细化。

来源:arXiv · ML · arxiv.org