Hacker News LLM· ivewonyoung·· 7 天前AI 评分52
ComfyUI 更新 LLM 推理路径,Qwen3.x 生成速度翻倍
Doubling LLM token rates in ComfyUI
AI 导读
ComfyUI 重写文本生成核心路径,针对 Qwen3.x 系列模型实现 2 倍加速,且无需更改模型权重。该优化已集成至 ComfyUI v0.45.0,支持 NVIDIA 与 AMD 显卡在 Windows 及 Linux 系统下运行。其核心技术包括优化 GEMV 内核以最大化 VRAM 读取效率,以及引入自适应树状 MTP 算法,通过动态调整推测解码结构进一步提升输出速度。
来源:Hacker News LLM · blog.comfy.org