arXiv · AI· Bruce Changlong Xu·· 6 小时前AI 评分39
激活敏感性作为大语言模型后训练量化的统一原理
Activation Sensitivity as a Unifying Principle for Post-Training Quantization
AI 导读
研究证明AWQ和GPTQ是激活敏感性统一框架的特例。 通过构建梯度加权激活敏感性损失，提出SAQ-GPTQ方法。在模拟中，该方法比非加权GPTQ将INT3/INT4额外损失降低约3倍。
来源：arXiv · AI · arxiv.org