arXiv · ML· Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma·· 16 小时前AI 评分30
循环式均匀扩散语言模型研究
Looped Uniform Diffusion Language Models
AI 导读
循环式均匀扩散语言模型（UDLMs）通过迭代去噪生成文本，比掩码扩散模型训练效率更低但推理性能更强。 研究发现，在相同 FLOP 预算下，引入选择性循环机制可显著降低训练成本：在 OpenWebText 和 FineWeb-Edu 数据集上，分别减少 2.8 倍和 3.3 倍训练 FLOPs 即可达到相同验证 NLL。
来源：arXiv · ML · arxiv.org