Tetra: 2.7-bit LLM Serving Paper
热点事件持续更新
Tetra: 2.7-bit LLM Serving Paper
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Pier-Jean Malandrino 团队发表 Tetra 方法,提出一种基于李奇格的新码本,将 Qwen3 系列模型量化至 2.7 比特/参数。报道明确 Qwen3-4B、8B、14B 的全模型量化精度分别为 2.73、2.70 和 2.73 比特/参数,该指标针对整个模型而非局部。 该方法的解码内核在矩阵向量积中通过 6 次表加载解码 24 权重块,读取 2.148 比特/权重。所有性能与精度测量均基于单张 NVIDIA L40S GPU 完成,生成速度在 113.8 至 57.2 tokens/s 之间,具体数值取决于模型规模与负载条件。
AI 根据报道生成 · 16 小时前更新
最新进展11月20日 13:00
Tetra: 以每参数 2.7 比特服务李奇格量化 LLM报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv · MLTetra: 以每参数 2.7 比特服务李奇格量化 LLM
Tetra 通过新码本将 Qwen3 系列模型量化至 2.7 比特/参数,生成速度达 113.8 至 57.2 tokens/s。 其内核在矩阵向量积中通过 6 次表加载解码 24 权重块,读取 2.148 比特/权重。 Qwen3-4B/8B/14B 在 MMLU 上得分为 63.37/69.58/75.66,分别落后 4-bit AWQ 4.76 至 2.46 分。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月20日 14:00
- 近 24 小时变化
- –
02.557.510
15:0018:0021:0011月21日03:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。