arXiv · AI· Wending Wang, Binqi Huang, Ju'an Li, Yu Guo, Lei Duan, Yuqi Ouyang, Dengchun Li·· 3 天前AI 评分31
PMR:基于共享原型与拥堵定价的 MoE 路由机制
PMR: MoE Routing with Shared Prototypes and Congestion Pricing
AI 导读
论文提出 PMR 路由,通过共享原型和拥堵定价实现 MoE 专家选择与负载分配解耦,训练吞吐量提升超 20 倍。 在 0.43B 至 1.18B 参数模型中,PMR 相比线性路由基线在七个基准测试上的平均零样本准确率提升 1.45 至 2.65 个百分点。
来源:arXiv · AI · arxiv.org