arXiv · NLP· Shuaidi Wang, Zhuocheng Gong, Xuejie Liu, Jianguo Li, Yu Zhang·· 13 小时前AI 评分32
LED:用于扩散语言模型的 Levenshtein 编辑框架
Beyond Replacement: Levenshtein Editing for Diffusion Language Models
AI 导读
提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。
来源:arXiv · NLP · arxiv.org