arXiv · AI· Rhea Sanjay Sukthanker, Riccardo Grazzi, James Hensman, Pashmina Cameron·· 4 小时前AI 评分35
超越4比特：面向数据中心的后训练量化与恢复方法
Beyond 4 bits: Data-Centric Post-training Quantization and Recovery
AI 导读
后训练量化在2位精度下，标量配置准确率跌至随机水平，而向量码本可恢复可用模型性能。该方案使用约2.3有效位/权重，在标量失效的情况下保留了89%-97%的问答准确率。 实验涵盖6个从3.8B到32B参数的稠密与MoE模型，恢复阶段计算量比最强QAT基准低1.4至30倍。
来源：arXiv · AI · arxiv.org