arXiv · AI· Muhammed Fatih Bal{\i}n·· 2 天前AI 评分42
计算置换网格编码(CPTC):通过两次乘法与64字节表实现近最优量化
Computed Permutation Trellis Coding: Near-Optimal Quantization from Two Multiplications and a 64-Byte Table
AI 导读
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
来源:arXiv · AI · arxiv.org