跳到正文
Hacker News LLM· anushka_gandhi·· 9 天前AI 评分40

SPECTRA 一键将 LLM 压缩 3 倍,近无损且占用 RAM 低于 50 MB

Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM

AI 导读

SPECTRA 实现 LLM 3 倍压缩,近无损且 RAM 占用低于 50 MB。 采用 Group-32 微缩放与 Triton GPU 内核,解决 Mamba-2 等架构兼容性及高预处理延迟问题。

来源:Hacker News LLM · neuracryption.com