arXiv · AI· Yulin Yuan, Ying Zhang, Xiangming Meng·· 17 小时前AI 评分30
JPEG-DLM 联合学习压缩嵌入以实现高效语言扩散
One Latent, Many Tokens: Jointly Learning Compressed Embeddings for Efficient Language Diffusion
AI 导读
研究提出 JPEG-DLM,通过联合训练压缩器、流匹配模型和解码模块生成高效语言扩散模型。该模型在 LM1B 和 OWT 上吞吐量领先,OWT 压缩率 0.5 时 Gen-PPL 为 34.52,吞吐量约为 ELF 的 2.3 倍。 结果表明联合学习压缩嵌入为提升扩散语言模型效率提供了可行路径。
来源:arXiv · AI · arxiv.org