arXiv · NLP· Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si·· 8 小时前AI 评分46
AURORA-LM：基于连续潜扩散语言建模的自编码统一表示
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
AI 导读
AURORA-LM 提出连续潜扩散语言模型，通过解耦文本表示构建与分布建模，在 OpenWebText 和 XSum 任务上表现优于现有连续模型。 模型采用 Query-based 编解码器生成前缀对齐的高容量潜序列，结合 Block-causal Diffusion Transformer 进行流匹配生成，并校准噪声分布与自轨迹一致性。
来源：arXiv · NLP · arxiv.org