arXiv · ML· Sagi Ahrac, Noya Hochwald, Mor Geva·· 7 天前AI 评分24
稀疏混合专家模型中路由器与专家专家间的几何耦合研究
Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts
AI 导读
研究揭示稀疏混合专家(SMoE)模型中路由器与专家间存在几何耦合,即匹配方向积累相同的路由 token 历史。在 1B 参数 SMoE 中,较高路由分数预测了更强的专家神经元预激活;辅助负载均衡损失会破坏此结构,使不同路由方向相似度提升近 3 倍。
来源:arXiv · ML · arxiv.org