arXiv · ML· Donghoon Han, Minseop Jung, Dong Woo Kwak, SeungJae Lee, Junhoo Lee·· 2026-10-16AI 评分32
N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models 中文解读:CP 方法将两比特量化表应用于大模型
N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models
AI 导读
研究人员提出条件程序(CP)方法,利用高斯格状重构将 N-Gram 记忆表量化至每行两比特,在相同存储预算下优于拟合码本与低秩变体。 该方法将 DeepSeek 的嵌入表存储从 203GB 压缩至 51GB,降低输出 KL 散度 41%–63%,使模型可在 GPU 上运行更大规模任务。 压缩后表结构仍保留完整查找能力,为长上下文或多实例部署提供显存空间余量。
来源:arXiv · ML · arxiv.org