研究者提出OptEP方法优化混合专家模型

针对MoE模型在部署时面临的参数存储瓶颈，研究者Jelena Markovic-Voronov等人提出了一种名为OptEP的后训练专家剪枝方法。 该方法将专家选择建模为子集选择问题，通过优化可微分的专家选择变量，并结合轻量级的重构策略更新保留专家的权重，从而在剪枝过程中保留更多的原始模型性能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。