跳到正文
Hacker News LLM· NeuraCryption·· 7 天前AI 评分56

SPECTRA 引擎发布:一键将 LLM 压缩 3 倍,无需 GPU 校准

Compress any LLM 3x in one click, near-lossless, vLLM successor

AI 导读

SPECTRA 引擎可将在 2.80 倍至 3.31 倍压缩任意 LLM,且无需 GPU 和数据集校准。该工具针对端侧推理的内存瓶颈,通过 CPU 预处理与 4-bit 量化实现近无损压缩。

来源:Hacker News LLM · ecosistemastartup.com