跳到正文
arXiv · AI· Kai Yi, Tarek Elgamal, Sruthikesh Surineni, Vignesh Vivekraja, Soumyadeep Ghosh, Steven Li·· 2026-10-08AI 评分31

CanonQ:实现 W2A4KV2 极低比特 LLM 压缩的统一量化感知训练框架

Few Bits, One Law: Toward W2A4KV2

AI 导读

CanonQ 框架通过解耦源规范化与任务适配,实现了 W2A4KV2 极低比特大语言模型压缩。 在 LLaMA3 系列模型上,CanonQ-Omni 使 WikiText-2 困惑度降低 14.28 倍,零样本平均准确率提升 57.9%。该优势在 Qwen3、代码生成及数学推理任务中均有体现,显著优于现有量化基准。

来源:arXiv · AI · arxiv.org