Hacker News LLM· NeuraCryption·· 7 天前AI 评分56
SPECTRA 引擎发布:一键将 LLM 压缩 3 倍,无需 GPU 校准
Compress any LLM 3x in one click, near-lossless, vLLM successor
AI 导读
SPECTRA 引擎可将在 2.80 倍至 3.31 倍压缩任意 LLM,且无需 GPU 和数据集校准。该工具针对端侧推理的内存瓶颈,通过 CPU 预处理与 4-bit 量化实现近无损压缩。
来源:Hacker News LLM · ecosistemastartup.com