跳到正文
arXiv · ML· Chanyoung Moon, Travis Pence, Daisuke Yamada, Jiaqi Mo, Yanxin Zhang, Vikas Singh, Karthikeyan Sankaralingam·· 2026-10-14AI 评分30

FORGE 通过程序化权重生成提升稀疏 MoE 推理效率

FORGE: Procedural Weight Generation for Sparse MoE Inference

AI 导读

FORGE 系统利用片上 Rotor Generation Unit 动态生成专家权重,取代了 HBM 中存储的完整张量。 每个投影仅需 $O(\log^2 d)$ 转子参数,用不足 1MB 种子近似 GB 级权重,显著降低显存带宽瓶颈。 在五类稀疏 MoE 模型中替换 30% FFN 层后,系统吞吐量提升 1.3-2.8 倍,KV cache 容量扩大 1.2-2.6 倍,但精度低于未替换模型。

来源:arXiv · ML · arxiv.org