跳到正文
arXiv · ML· Mukund Athmaram, Manoj Rao, Liang Ma·· 2 天前AI 评分35

MoE路由控制机制研究:基于Qwen3-30B-A3B专家轨迹的因果干预

What MoE Routing Controls: Causal Interventions on Expert Trajectories

AI 导读

研究在Qwen3-30B-A3B模型上通过固定偏置引导专家路径,发现格式路径显著改变生成文本,而概念路径虽偏移下一词概率但几乎不影响输出。 分析表明格式一旦启动会自我强化,宗教与金钱概念在中间层引导效应最强,其强度与嵌入向量区分度及词频相关。

来源:arXiv · ML · arxiv.org