arXiv · ML· Pier-Jean Malandrino·· 16 小时前AI 评分30
Tetra: 以每参数 2.7 比特服务李奇格量化 LLM
Tetra: Serving Leech-Lattice Quantized LLMs at 2.7 Bits per Parameter
AI 导读
Tetra 通过新码本将 Qwen3 系列模型量化至 2.7 比特/参数,生成速度达 113.8 至 57.2 tokens/s。 其内核在矩阵向量积中通过 6 次表加载解码 24 权重块,读取 2.148 比特/权重。 Qwen3-4B/8B/14B 在 MMLU 上得分为 63.37/69.58/75.66,分别落后 4-bit AWQ 4.76 至 2.46 分。
来源:arXiv · ML · arxiv.org