IT之家·· 6 天前AI 评分40
无显卡环境下利用停产傲腾内存运行 2.8 万亿参数 Kimi K3 模型
不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元
AI 导读
用户在不配备显卡的情况下,使用已停产的 Intel Optane 持久内存成功运行 2.8 万亿参数的 Kimi K3 模型。 该系统采用 40 核三代 Xeon 处理器与 llama.cpp,在 1-bit 量化且开启 DAX 时,输出速度达每秒 1.5 个 token。 该测试速度仍不流畅,3-bit 量化下生成 5 万个 token 需 18.5 小时。
来源:IT之家 · ithome.com