跳到正文
arXiv · ML· Boris Ruf, Marcin Detyniecki·· 2026-10-15AI 评分34

LLaDA-8B与Llama-3.1-8B能耗基准测试:扩散模型在长序列下更高效

Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models

AI 导读

在200-600 token序列中,扩散模型(LLaDA-8B, Dream-7B)能耗为2.5-2.7 J/token,约为带KV-cache的自回归模型(5.3-5.7 J/token)的2倍效率。 自回归模型在长序列中通过KV-cache实现50-70%的能耗降低。

来源:arXiv · ML · arxiv.org