arXiv · AI· Renjie Wei, Haochen Huang, Chuyu Qiu, Jinqi Wen, Dehao Xu, Meng Li·· 8 小时前AI 评分33
MatMoE: 用于高效推理的混合精度动态混合专家马特洛什卡框架
MatMoE: Matryoshka Mixture-of-Experts with Dynamic Mixed-Precision Quantization for Efficient Inference
AI 导读
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配，在满足延迟约束的同时，将精度提升了 4.0% 至 18.3%。 相比静态方法，MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
来源：arXiv · AI · arxiv.org