跳到正文
Hacker News LLM· michaelrickynea·· 16 小时前AI 评分37

Leviathan 即将推出本地 LLM 推理工具

Leviathan LLM Inference

AI 导读

Leviathan 是一款即将发布的本地 LLM 推理应用,支持在 NVIDIA GPU 上直接运行模型。无需服务器、云账户或 Python 环境,直接加载模型至显卡内存即可交互。

来源:Hacker News LLM · github.com