arXiv · NLP· Lucas Bandarkar, Alan Ansell, Trevor Cohn·· 11 天前AI 评分32
利用跨语言不一致性在 MoE LLM 中实现知识定位
Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency
AI 导读
研究人员提出利用 MoE LLM 的跨语言不一致性进行知识定位,通过对比成功与失败语言下的路由行为识别关键专家。 框架分两阶段:跨语言提问生成激活桶,对 MoE 路由 logits 做统计对比分析。 仅停用约 6000 个专家中的 20 个,模型在 40% 以上的案例中便无法正确回答。
来源:arXiv · NLP · arxiv.org