Hacker News LLM· peter_d_sherman·· 28 分钟前AI 评分46
VindexLLM:基于 Delphi 12 和 Vulkan 的 Windows GPU LLM 推理引擎
VindexLLM – Windows Vulkan GPU GGUF LLM inference engine written in Delphi 12
AI 导读
VindexLLM 是一款纯 Delphi 编写的 Windows LLM 推理引擎,利用 Vulkan 计算着色器在 GPU 执行完整 Transformer 前向传播。
来源:Hacker News LLM · github.com