跳到正文
arXiv · NLP· Junhyeok Lee, Han Jang, Kyu Sung Choi·· 2026-10-09AI 评分26

MoE 语言模型中通过路由重加权实现的有限刻板印象控制

Limited Stereotype Control Through Routing Reweighting in MoE Language Models

AI 导读

提出诊断框架 FARE,评估五个 MoE 架构,发现刻板印象控制效果有限。 CrowS-Pairs 偏好变化最多 1.3 个百分点,DeepSeekMoE 无需干预,Qwen1.5 变化在统计修正后不显著。 噪声控制和多种生成协议显示毒性等指标无一致变化,验证结果受选择偏差影响。

来源:arXiv · NLP · arxiv.org