arXiv · AI· Keya Hu, Linlu Qiu, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob Andreas, Kaiming He·· 23 小时前AI 评分28
ELF:基于连续嵌入空间的语言流模型
ELF: Embedded Language Flows
AI 导读
该研究提出嵌入式语言流模型(ELF),一种基于连续时间流匹配的扩散语言模型,主要在连续嵌入空间运行,仅在最后一步映射为离散 token,并可直接复用图像扩散中的 classifier-free guidance(CFG)技术。 实验中,ELF 以较少采样步数显著超越了当前领先的离散与连续 DLM,生成质量更优。 结果表明,ELF 为构建有效的连续扩散语言模型提供了一条可行路径。
来源:arXiv · AI · arxiv.org