跳到正文
arXiv · AI· Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker, Mohammad Mahdi Kamani, Yonggan Fu, Sajad Norouzi, Julius Berner, Tomas Geffner, Karsten Kreis, Yongxin Chen, Molei Tao, John Thickstun, Pavlo Molchanov, Ante Juki\'c, Arash Vahdat, Morteza Mardani·· 2026-10-05AI 评分40

首个大规模连续大语言扩散模型 Sigma 提出

Large Language Continuous Diffusion Models

AI 导读

研究团队提出首个大规模连续 dLM Sigma,规模涵盖 3B/8B 参数。模型基于低维 ODE/SDE 潜在轨迹,通过联合去噪优化嵌入几何。 Sigma 利用预训练 AR 权重初始化加速训练。推理时结合无分类器引导和分数温度优化表现。 在 GSM8K、HumanEval 等基准上与离散模型持平,具备低 NFE 优雅退化能力。

来源:arXiv · AI · arxiv.org