跳到正文
arXiv · AI· Muhammed Fatih Bal{\i}n·· 2 天前AI 评分42

计算置换网格编码(CPTC):通过两次乘法与64字节表实现近最优量化

Computed Permutation Trellis Coding: Near-Optimal Quantization from Two Multiplications and a 64-Byte Table

AI 导读

CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。

来源:arXiv · AI · arxiv.org