arXiv · NLP· Felix Draxler, Robin C. Geyer, Daniel Geyfman, Farrin Marouf Sofian, Justus Will, Philipp Hildebrandt, Giosue Migliorini, Prakhar Srivastava, Gagan Sai Trinadh Duggaraju Peddiraju, Kushagra Pandey, Jorge da Silva Gon\c{c}alves, Elijah Tavares, Jan Niklas Groeneveld, Yang Meng, Julia E. Vogt, Stephan Mandt·· 6 小时前AI 评分33
平行语言模型（PLMs）：通过变分解码加速推理
Parallel Language Models via Variational Decoding
AI 导读
平行语言模型（PLMs）在单步前向传播中生成一致token，性能优于自回归和离散扩散基线。 该模型在80M至3B参数规模下实现接近自回归的预训练损失，1.3B模型在数学和编码基准测试中速度提升2.3至5.7倍。 研究展示了平行生成在自回归质量下的训练潜力，代码将开源。
来源：arXiv · NLP · arxiv.org