Hacker News LLM· anushka_gandhi·· 9 天前AI 评分40
SPECTRA 一键将 LLM 压缩 3 倍,近无损且占用 RAM 低于 50 MB
Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM
AI 导读
SPECTRA 实现 LLM 3 倍压缩,近无损且 RAM 占用低于 50 MB。 采用 Group-32 微缩放与 Triton GPU 内核,解决 Mamba-2 等架构兼容性及高预处理延迟问题。
来源:Hacker News LLM · neuracryption.com