Hacker News LLM· anushka_gandhi·· 8 天前AI 评分42
SPECTRA 框架实现 LLM 3 倍无损压缩
Compress any LLM 3x in one click, near-lossless, in seconds
AI 导读
SPECTRA 基于香农编码理论,将 LLM 容器体积减少 64.3%-69.8%,实现 2.80-3.31 倍压缩。 框架在 RTX 3050 Ti 上运行,DeepSeek-R1-Distill-1.5B 单 token 生成速度达 82.53 tok/s。 在消费级硬件上支持 8,192 token 上下文窗口,实现近无损推理。
来源:Hacker News LLM · zenodo.org