arXiv · AI· Kwanhee Lee, Namhoon Lee, Dan Alistarh·· 2026-10-05AI 评分23
面向万亿级 MoE 的硬件原生联合稀疏量化框架
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
AI 导读
该框架将 MoE 专家权重压缩为硬件原生低精度稀疏表示,支持 30B 至 1 万亿参数模型。相比最先进联合稀疏量化方法,精度提升最高 4.35 个百分点,保留 96.09% 原始性能。在 NVIDIA B200 上,吞吐量提升 1.18 倍,端到端延迟降低最高 4.03 倍。
来源:arXiv · AI · arxiv.org