如何构建现代扩散语言模型

主流LLM因自回归生成导致GPU利用率低且无法修正错误。离散扩散模型通过并行生成和迭代去噪解决此瓶颈。 该模型实现每秒数千token的生成速度，支持内置纠错与可控生成。过去两年内，该架构已扩展至数十亿参数规模，并在生物序列建模和自然语言领域获得应用。 这为推理时计算扩展提供了新维度，将影响未来LLM的scaling laws。