arXiv · AI· Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker, Mohammad Mahdi Kamani, Yonggan Fu, Sajad Norouzi, Julius Berner, Tomas Geffner, Karsten Kreis, Yongxin Chen, Molei Tao, John Thickstun, Pavlo Molchanov, Ante Juki\'c, Arash Vahdat, Morteza Mardani·· 2026-10-05AI 评分40
首个大规模连续大语言扩散模型 Sigma 提出
Large Language Continuous Diffusion Models
AI 导读
研究团队提出首个大规模连续 dLM Sigma,规模涵盖 3B/8B 参数。模型基于低维 ODE/SDE 潜在轨迹,通过联合去噪优化嵌入几何。 Sigma 利用预训练 AR 权重初始化加速训练。推理时结合无分类器引导和分数温度优化表现。 在 GSM8K、HumanEval 等基准上与离散模型持平,具备低 NFE 优雅退化能力。
来源:arXiv · AI · arxiv.org