arXiv · ML· Yuyan Zhou, Zeyuan Yang, Yuxuan Song, Zhicheng Cai, Hongli Yu, Weiying Ma, Hao Zhou, James Kwok·· 8 小时前AI 评分33
LED 通过前瞻编辑改进掩码扩散语言模型
LED: Improving Masked Diffusion Language Models by Lookahead Editing
AI 导读
提出 Lookahead Editing (LED) 方法,增强掩码扩散模型 MDM 表达能力。在 8 项基准测试中,LED SFT 平均提升 11.4 和 7.7 分。仅用 SFT 微调的 LED-8B 性能超越经预训练和后训练的 LLaDA2.1-16B Q-mode。
来源:arXiv · ML · arxiv.org