arXiv · AI· Jiaqi Chen, Xianglong Yan, Chengzhu Bao, Xie Chen, Yulun Zhang·· 4 小时前AI 评分38
ProQuant 在 MoE 模型超低比特量化中如何以质代量
ProQuant: Preserving Expert Quality over Quantity in Ultra-Low-Bit Quantization of Mixture-of-Experts Models
AI 导读
ProQuant 提出专为 MoE 大语言模型设计的权重后训练量化框架，在极低比特预算下保持生成质量。其核心包括 Prune-or-Prioritize 混合精度分配与 Routing-Consistent RMSNorm 微调技术。实验表明 ProQuant 在多种生成任务上性能优于现有方法，代码已公开。
来源：arXiv · AI · arxiv.org