跳到正文
arXiv · ML· Mahsa Salmani, Sayeh Sharify, Hesham Mostafa·· 2026-10-12AI 评分26

DualQuant:面向 LLM 的双尺度免校准权重与激活量化方法

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

AI 导读

DualQuant 提出一种双尺度免校准后训练量化框架,将权重重建 MSE 最小化问题转化为非可微优化,通过变量分裂和块坐标下降求解。该方法在 Llama 和 Qwen 模型上匹配或超越 SmoothQuant 精度,在 Llama-3.1-8B 的 W4A4 推理中实现 2.61 倍显存减少和 2.46 倍吞吐量提升。

来源:arXiv · ML · arxiv.org