arXiv · NLP· Stephen Chung, Wenyu Du·· 3 小时前AI 评分38
语言模型低比特 N-Gram 嵌入量化研究
Low-Bit N-Gram Embeddings for Language Models
AI 导读
低比特 N-Gram 嵌入可将表内存降低 75%，保留 99% 验证损失提升。 在 nanochat、Llama 和 GPT-2 族模型上，4-bit 量化大幅减少内存；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next，内存省 47-55%，困惑度增加不足 1.2%。 该方案降低内存需求并将节省容量用于增强模型性能。
来源：arXiv · NLP · arxiv.org