arXiv · AI· Yuxuan Lou, Kai Yang, Geng Zhang, Yong Liu, Yang You·· 2026-10-09AI 评分24
DivMoE: 基于跨领域专家组合的细粒度 MoE Upcycling
DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
AI 导读
summary_zh: DivMoE 提出首个实现细粒度 MoE Upcycling 且具备结构平衡路由的框架,解决了单一源模型派生专家导致的路由崩溃与精度退化问题。
来源:arXiv · AI · arxiv.org