跳到正文
Hacker News LLM· NeuraCryption·· 8 天前AI 评分61

SPECTRA 发布:一键将任意 LLM 压缩 3 倍,在 4GB 显存下近无损实时推理

Compress any LLM 3x in one click, near-lossless, in under 50 MB RAM

AI 导读

SPECTRA 发布了一款架构无关的 4-bit LLM 压缩引擎与实时 GPU 推理运行时,支持在 4GB 至 8GB 显存的消费级设备上本地运行。在 4GB 显存的 NVIDIA RTX 3050 Ti 笔记本 GPU 上,冷启动加载耗时 1.5s 至 3.8s,且主机内存占用低于 50 MB。

来源:Hacker News LLM · github.com