跳到正文
arXiv · NLP· Yujie Chen, Weiyan Zheng, Yiwu Yao, Tianchi Hu, Bo Wang, Jiyu Guo, Wenzhan Li, Jingcai Guo, Michele Magno, Haotong Qin·· 2026-10-14AI 评分33

FidelityQ:超低位语言模型量化中保持预测保真度的方法

FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization

AI 导读

提出 FidelityQ 标量量化框架,在 2 bit 权重精度下保持预测一致性。 引入信息对齐解析编码(IAC)与知识密集校准(KIC),在 LLaMA-2-7B 上 W2A16 困惑度为 6.62,线性层权重内存减少 8.0 倍。 支持 LLaMA 与 Qwen 模型族的权重-only 及联合量化部署。

来源:arXiv · NLP · arxiv.org