跳到正文
arXiv · ML· Mingyuan Zhang, Yue Bai, Zhongruo Wang, Yupin Huang, Yiyang Huang, Hailing Wang, Huimin Zeng, Yun Fu·· 2026-10-07AI 评分25

MASKerade:用于稠密转MoE升级的令牌路由掩码专家方法

MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling

AI 导读

提出MASKerade方法,通过在冻结的预训练FFN上学习稀疏子网络来构建令牌路由的MoE专家,而非独立训练专家。 核心配置采用四个2:4掩码专家与top-2路由,两个半密集专家通路的计算量等于一次密集通路。在五个视觉-语言基准测试中,该配置在Qwen和Gemma骨干模型上取得了高于对比基线的性能。

来源:arXiv · ML · arxiv.org