跳到正文
Hacker News LLM· enki_runtime·· 2026-10-14AI 评分33

Enki LLM:纯 Rust 实现的 Llama-3.2 1B 推理引擎

A pure Rust LLM engine (~2k LOC) with live GPU/CPU brain migration

AI 导读

Enki LLM 在纯 Rust 环境下实现 Llama-3.2 1B 推理,代码量约 2000 行。 支持生成过程中 GPU 与 CPU 实时迁移,Nvidia Tesla T4 上速度约 40 tok/s。 通过 Enki 运行时和 Vulkan 1.3 实现跨硬件兼容,无需 CUDA 依赖。

来源:Hacker News LLM · github.com