arXiv · ML· Leonidas Tsigkounakis, Abraham Jaeger Mountain, Yilang Zhang, Georgios B. Giannakis·· 8 小时前AI 评分31
面向权重异常值与稀疏性的大模型量化方法研究
Quantization of Large Models with Weight Outliers and Sparsity
AI 导读
该论文提出一种结合量化、低秩与稀疏分解的PTQ方法，利用模拟退火优化以补偿量化误差，显著降低大模型部署的内存负担。 实验在Llama 3.2 1B/3B、Llama 3.1 8B及Qwen2.5 7B上验证，使用4-bit NF4和FP4量化器，结果显示该方法在自然语言生成基准上明显优于直接量化，且内存开销极小。
来源：arXiv · ML · arxiv.org