arXiv · ML· Mengqi Guo, Zhe Wei, Yuan Yuan, Jiunn Bin Lim, Boyi Pan, Michael Bi Mi·· 2026-10-12AI 评分27
DuoRate 实现混合专家模型双速率专家精度分配
DuoRate: Two-Rate Per-Expert Precision Allocation for Mixture-of-Experts Serving
AI 导读
DuoRate 针对 MoE 部署中存储与读取精度分离的问题,提出双速率分配方案。 在 Qwen3-30B-A3B 上,2.3 bpw 读取时平均准确率超 2-bit 基线 6.3-47.0 点。 2.9 bpw 时匹配 4-bit 格式,且比 BF16 在 GSM8K 上仅差 0.25 点。
来源:arXiv · ML · arxiv.org