arXiv · ML· Zachary Broveak, Christian Kubicka, Thierry Tambe·· 2026-10-15AI 评分39
Spectral-MoE: 稠密到 MoE 转换中的异质逐层专家利用率
Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion
AI 导读
Spectral-MoE 提出异质逐层专家利用率分配,显著优于统一利用率。在 25% FFN 利用率下,动态分配将 Llama-3-8B 的 WikiText-2 困惑度降低 2.96 点,六任务平均准确率平均提升 3.6 个百分点(50% 利用率下)。
来源:arXiv · ML · arxiv.org