跳到正文
arXiv · ML· Donghyun Jeong, Yoon-Yeong Kim·· 29 天前AI 评分29

GaP-MoE 通过正交梯度累积与投影实现专家专业化

GaP-MoE : Explicit Expert Specialization in Mixture-of-Experts via Orthogonal Gradient Accumulation and Projection

AI 导读

针对稀疏混合专家模型中专家表示坍塌问题,GaP-MoE 通过直接操作专家输出梯度诱导专业化,而非修改损失函数。 该方法在训练步骤中随机选择 $TopK$ 专家之一作为领导者,并将其余专家的梯度投影到领导者近期梯度张成子空间的正交补集上,消除了梯度方向重叠。

来源:arXiv · ML · arxiv.org