Llama与Qwen模型量化新PTQ方法发布

一项面向大模型权重异常值与稀疏性的量化方法研究于2026年11月3日在arXiv公布。该PTQ方法结合量化、低秩与稀疏分解，并采用模拟退火优化补偿量化误差，旨在显著降低部署时的内存负担。 实验在Llama 3.2 1B/3B、Llama 3.1 8B及Qwen2.5 7B模型上验证，使用4-bit NF4和FP4量化器。结果显示，该方法在自然语言生成基准上明显优于直接量化，且内存开销极小。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。