跳到正文
arXiv · AI· Jakob Steimle, Thomas Elsken, Daniel Ehrhardt, Lukas Rinder, Daniel Cremers, Xi Wang·· 4 小时前AI 评分29

静态基线往往更优:MoE 动态专家跳过方法的受控对比研究

Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs

AI 导读

一项针对 Mixture-of-Experts 模型的研究表明,动态专家跳过方法难以稳定超越简单的静态 $k$ 值削减基线。 实验在 Gemma4-26B-A4B、Qwen3-30B-A3B 及 Qwen3-VL 上进行,结果显示动态方法常表现不佳或增益微小,且校准与测试时的有效 $k$ 值存在偏差。 作者建议采用无校准的每模态静态 $k$ 削减,并主张静态控制是任何动态跳过方法必须超越的基准。

来源:arXiv · AI · arxiv.org