arXiv · ML· Shuibai Zhang, Fred Zhangzhi Peng, Yiheng Zhang, Jin Pan, Grigorios G. Chrysos·· 14 天前AI 评分34
修正型扩散语言模型:通过显式监督可见错误token提升迭代纠错能力
Corrective Diffusion Language Models
AI 导读
研究指出标准Masked Diffusion Language Models(MDLMs)无法可靠修正错误token,关键原因是其训练仅监督masked位置,导致模型无法区分正确与错误的可见token,进而阻碍基于置信度的迭代细化。
来源:arXiv · ML · arxiv.org