跳到正文
arXiv · ML· Viktor Vesel\'y, Sebastian Jitaru·· 4 天前AI 评分25

专家混合路由是否受益于集成?

Do Mixture-of-Experts Routers Benefit from Ensembling?

AI 导读

专家混合路由从集成中获益有限。在4个任务上,增加路由器数量降低验证损失,最大化专家多样性提升3/4任务表现。 最大路由器多样性无效果。算术平均优于几何平均。收益被训练额外路由器的计算成本抵消。

来源:arXiv · ML · arxiv.org