跳到正文
arXiv · ML· Seobin Song, Geonho Lee, Janghwan Lee, Jungwook Choi·· 2026-10-07AI 评分27

Qwen3 2-bit 量化下无需训练的闭式解低秩补偿方法

Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models

AI 导读

该方法在 2-bit QuIP# 量化下无需训练,通过 Fisher 加权不对称对齐和自然梯度步显著降低困惑度。 Qwen3-8B 在 WikiText-2 困惑度从 12.43 降至 10.26,C4 语料库中恢复了 51% 至 84% 的 FP16 差距。 该方法在更高比特宽度和不同量化器下保持一致收益,无需反向传播即可计算适配器。

来源:arXiv · ML · arxiv.org