跳到正文
IT之家·· 2026-10-06AI 评分65

开发者开源 Strata 引擎,12GB 显存显卡可运行 125B Qwen3.8 模型

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

AI 导读

开发者 Niko1221 开源推出 Strata 引擎,支持在12GB以上显存的消费级显卡上运行量化的125B参数 Qwen3.8-Flash-Next 模型。该引擎通过将MoE模型载入RAM并仅加载高频专家至VRAM,结合投机解码来降低显存占用并加速推理。测试数据显示,在配备RTX 5070的Windows主机上,Q2_0量化版本可达94词元/秒的生成速度。

来源:IT之家 · ithome.com