跳到正文
arXiv · NLP· Sofian Zalouk, Vincent Counathe, Paul J\"unger, Daniel Cao, Daniel Zlotnick, Kilian Q. Weinberger, Christopher De Sa·· 3 天前AI 评分25

Leave-One-Out Transformer 提升掩码扩散模型的自纠错能力

Empowering Masked Diffusion Models to Self-Correct with Leave-One-Out Transformers

AI 导读

Leave-One-Out Transformer (LOOT) 通过重构合并机制和低方差 NELBO 估计器,解决了掩码扩散模型无法修正 token 及训练信号稀疏的问题,实现了有效的推理期自纠错。

来源:arXiv · NLP · arxiv.org