跳到正文
Hacker News LLM· sardor_r1·· 2026-10-17AI 评分40

Show HN: Vramkit – 在 MacBook 上测量 LLM 权重和 KV 缓存压缩

Show HN: Vramkit – measuring LLM weight and KV-cache compression on a MacBook

AI 导读

Vramkit 提供经无损验证的 LLM 权重与 KV 缓存压缩技术,基准测试显示其比 zstd 和 xz 更优。 权重编解码器在 Qwen2.5-0.5B 上实现平均 2.92 bits/weight 的无损压缩,较原始 4-bit 减少 27%。

来源:Hacker News LLM · github.com