跳到正文
IT之家·· 2 天前AI 评分63

Garlic LLM 实现越狱 PS4 离线运行 9B 参数本地 AI 模型

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

AI 导读

开源项目 Garlic LLM 实现让越狱版 PS4 离线运行 90 亿参数本地大语言模型,最高生成速度达每秒 43 个词元。项目采用 Qwen3.5-9B 模型基座并压缩为 3 位或 4 位量化格式,借助推测解码技术,在 PS4 有限的内存内完成 AI 推理,支持语音对话和 Python 代码执行,无需联网即可使用。

来源:IT之家 · ithome.com