arXiv · ML· Anyuan Zhuo, Shaohua Zhang, Yuan Lin, Pinyan Lu·· 23 小时前AI 评分20
SAE 揭示 MoE 专家具有人类可解释的细粒度专业化特性
SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
AI 导读
在 Qwen3-30B-A3B 模型中，基于稀疏自编码器（SAE）的分析表明 MoE 专家贡献度远集中於路由门控。 研究发现大多数潜在特征由一两个专家主导，形成如 Java 与前端代码、几何与算术等细粒度的分工。SAE 模型及代码已开源。
来源：arXiv · ML · arxiv.org