跳到正文
热点事件持续更新

Tetra: 2.7-bit LLM Serving Paper

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

Pier-Jean Malandrino 团队发表 Tetra 方法,提出一种基于李奇格的新码本,将 Qwen3 系列模型量化至 2.7 比特/参数。报道明确 Qwen3-4B、8B、14B 的全模型量化精度分别为 2.73、2.70 和 2.73 比特/参数,该指标针对整个模型而非局部。 该方法的解码内核在矩阵向量积中通过 6 次表加载解码 24 权重块,读取 2.148 比特/权重。所有性能与精度测量均基于单张 NVIDIA L40S GPU 完成,生成速度在 113.8 至 57.2 tokens/s 之间,具体数值取决于模型规模与负载条件。

AI 根据报道生成 · 16 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · ML
    Tetra: 以每参数 2.7 比特服务李奇格量化 LLM

    Tetra 通过新码本将 Qwen3 系列模型量化至 2.7 比特/参数,生成速度达 113.8 至 57.2 tokens/s。 其内核在矩阵向量积中通过 6 次表加载解码 24 权重块,读取 2.148 比特/权重。 Qwen3-4B/8B/14B 在 MMLU 上得分为 63.37/69.58/75.66,分别落后 4-bit AWQ 4.76 至 2.46 分。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月20日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。