跳到正文
arXiv · NLP· Jaeyun Kim, Hoonki Lee, Susie Shin, Hyunmin Kim, Dahyun Lee, Sangyeob Kim·· 2026-10-16AI 评分26

DPA-MoE:一种 MoE 推理的运行时精度控制框架

DPA-MoE: A Runtime Precision Control Framework for MoE Inference

AI 导读

研究人员提出 DPA-MoE 框架,通过在推理时根据路由门控分数动态分配任意精度编码块,使专家路由模型能在不同权重预算下运行而无需重新训练或编码。 该框架使用 SharedScale AnyBCQ 对专家权重进行前缀可解码分块,并离线分析重建残差。

来源:arXiv · NLP · arxiv.org