跳到正文
arXiv · NLP· Ruihong Zeng, Puning Yang, Jinghui Zhang, Shen Gao, Xiangliang Zhang, Preslav Nakov, Xiuying Chen·· 3 天前AI 评分41

从事实到角色:通过混合专家模型实现 LLM 中可解释的角色遗忘

From Facts to Personas: Interpretable Role Unlearning in LLMs via Mixture-of-Experts

AI 导读

研究提出角色扮演遗忘任务,旨在选择性遗忘目标角色的风格与知识,同时保留非目标角色的语言能力。 提出 RoleMoE 混合专家框架,通过专业化损失和解耦损失映射独立专家子空间,提升角色分离与结构可解释性。 实验在多个 LLM 骨干上表明 RoleMoE 能精确可控地遗忘角色,且代码和数据集已公开。

来源:arXiv · NLP · arxiv.org