跳到正文
arXiv · ML· Hyojung Han·· 2 天前AI 评分21

Qwen3-8B 在 NVIDIA B200 上的部署受限混合精度量化研究

Beyond Bitwidth: Deployment-Constrained Mixed-Precision Quantization for Multilingual LLM Inference on NVIDIA Blackwell

AI 导读

研究 Qwen3-8B 在 NVIDIA B200 上的混合精度量化,发现特定配置通过 FINAL-81 测试集全部门槛。 该配置包含 16-bit 激活、98 个 NVFP4 权重模块及 46 个 INT8 模块,权重内存占用 5.917 GiB。 相比 NVFP4 W4A4,配对准确率提升 1.4 个百分点,TPOT 比为 0.939,验证了非加法性模块恢复效应。

来源:arXiv · ML · arxiv.org