arXiv · AI· Ning Yang, Bohan Cui, Zhuowen Liu, Yuting Wang·· 5 小时前AI 评分26
ResCom：大语言模型量化的激活残差补偿方法
ResCom: Activation Residual Compensation for Large Language Model Quantization
AI 导读
ResCom 通过低秩修正利用激活舍入残差补偿低比特量化误差，无需梯度训练即可优化输出。在 Llama-3-8B 4-bit 量化下，rank-32 注意力修正使 WikiText-2 困惑度降至 7.147，MMLU 提升 2.89 个百分点。FP32 实现增加 2.25% 预填充时间，紧凑存储版本相比 FP16 减少 27.7% 峰值内存。
来源：arXiv · AI · arxiv.org