arXiv · AI· Md Nurul Absar Siddiky, Liuwan Zhu, Yingfei Dong·· 2026-10-05AI 评分29
稀疏MoE LLM中识别安全敏感专家:频率不等于敏感度
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
AI 导读
研究指出,抑制稀疏混合专家(MoE)大语言模型中的少量路由专家会削弱其安全行为,通常依据激活频率选择专家,但频率仅衡量使用率而非影响力。 在五个MoE架构上,基于路由器梯度敏感度的选择在25种条件中的24种情况下比激活频率更有效地降低拒绝率,并在全部25种情况下优于随机基线。其中在OLMoE模型中效果最显著,拒绝率从100条恶意提示词中的34条降至9条(相对降幅73.53%),且无输出质量退化。
来源:arXiv · AI · arxiv.org