arXiv · ML· Tavish Mankash, Vardhaman Kalloli, Keshava Prasad, Deepan Muthirayan·· 5 小时前AI 评分28
Mixture of Wide Experts：用于可解释原生坐标的稀疏路由
Mixture of Wide Experts: Sparse Routing for Interpretable Native Coordinates
AI 导读
研究提出 Mixture of Wide Experts (MoWE) 稀疏前馈层，通过固定不相交输出坐标实现可解释的原生坐标读取，在已知隐藏因子的受控任务中比密集和标准 MoE 模型更清晰定位原因。
来源：arXiv · ML · arxiv.org