跳到正文
arXiv · NLP· Zirui Pang, Zhijie Deng, Yuancheng Wang, Qihan Yu, Xin Li, Jiaheng Wei, Zixin Zhong·· 3 天前AI 评分22

LEAF-OPD 提出通过特权上下文进行在线策略蒸馏以增强 LLM 遗忘效果

LEAF-OPD: Learning to Forget from Privileged Contexts via On-Policy Distillation

AI 导读

研究提出 LEAF-OPD,利用冻结教师模型的特权上下文对生成响应进行令牌级监督,提升大模型遗忘能力。 该方法在 TOFU 基准上取得最佳 Forget Quality 与 Model Utility;在 RWKU 基准上,其 Forget Quality 比次优方法高出 34%。

来源:arXiv · NLP · arxiv.org