Seven Minute Feed·· 10 天前AI 评分61
llama-modchip 项目实现 64GB 内存纯 CPU 运行 284B DeepSeek-V4-Flash
Llama-modchip runs 284B DeepSeek V4 Flash on 64GB RAM with no GPU
AI 导读
llama-modchip 项目使用 1.71-bit 量化(56.6GB)在 64GB 内存的纯 CPU 环境下运行 284B 参数 DeepSeek-V4-Flash MoE(13B 激活),测得 16 核 Zen 5 处理器上 44 tok/s prefill 以及 30B MoE 模型在 16-32GB 笔记本上 25-60 tok/s decode。
来源:Seven Minute Feed · github.com