跳到正文
Hugging Face Blog·· 2 天前精选AI 评分61

Transformers 实现 MoE 专家流式加载,180B 模型仅需 32GB 内存

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。

推荐理由

展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。

来源:Hugging Face Blog · huggingface.co