跳到正文
arXiv · ML· Rafael Pina, Varuna De Silva·· 10 天前AI 评分22

混合专家模型与循环模型批次共享机制的 GPU 直接能耗实测

Direct GPU Energy Measurements of Batch-Level Sharing in Mixture-of-Experts and Recurrent Models

AI 导读

在 Qwen3-30B-A3B 上,batch-aware routing 使专家权重读取减少 25-31%,每 token 能耗降低 12-18%。 在循环策略中,共享计算极少持续一个步骤,固定 mask 方案能耗为小型稠密策略的 11 倍;batch-aware 路由在 500 项评测中性能变化处于噪声范围内。

来源:arXiv · ML · arxiv.org