跳到正文
Hacker News LLM· peter_d_sherman·· 28 分钟前AI 评分46

VindexLLM:基于 Delphi 12 和 Vulkan 的 Windows GPU LLM 推理引擎

VindexLLM – Windows Vulkan GPU GGUF LLM inference engine written in Delphi 12

AI 导读

VindexLLM 是一款纯 Delphi 编写的 Windows LLM 推理引擎,利用 Vulkan 计算着色器在 GPU 执行完整 Transformer 前向传播。

来源:Hacker News LLM · github.com