跳到正文
arXiv · ML· Yuyan Zhou, Zeyuan Yang, Yuxuan Song, Zhicheng Cai, Hongli Yu, Weiying Ma, Hao Zhou, James Kwok·· 8 小时前AI 评分33

LED 通过前瞻编辑改进掩码扩散语言模型

LED: Improving Masked Diffusion Language Models by Lookahead Editing

AI 导读

提出 Lookahead Editing (LED) 方法,增强掩码扩散模型 MDM 表达能力。在 8 项基准测试中,LED SFT 平均提升 11.4 和 7.7 分。仅用 SFT 微调的 LED-8B 性能超越经预训练和后训练的 LLaDA2.1-16B Q-mode。

来源:arXiv · ML · arxiv.org