跳到正文
Hacker News LLM· ivewonyoung·· 7 天前AI 评分52

ComfyUI 更新 LLM 推理路径,Qwen3.x 生成速度翻倍

Doubling LLM token rates in ComfyUI

AI 导读

ComfyUI 重写文本生成核心路径,针对 Qwen3.x 系列模型实现 2 倍加速,且无需更改模型权重。该优化已集成至 ComfyUI v0.45.0,支持 NVIDIA 与 AMD 显卡在 Windows 及 Linux 系统下运行。其核心技术包括优化 GEMV 内核以最大化 VRAM 读取效率,以及引入自适应树状 MTP 算法,通过动态调整推测解码结构进一步提升输出速度。

来源:Hacker News LLM · blog.comfy.org