arXiv · NLP· Leijiang Gu, Zhen Zeng, Feng Li, Le Zhang, Zenglin Shi·· 10 天前AI 评分21
多模态 LLM 遗忘学习中监督目标的重构:减少私有信息与降低分布偏移
Rethinking Supervision Targets for Multimodal LLM Unlearning: Less Private Information, Reduced Distribution Shift
AI 导读
针对多模态大模型(MLLMs)遗忘学习中的效用平衡问题,本文指出含更多私有信息的监督目标会导致遗忘不充分,且分布偏移过大会造成效用退化。 提出 FFN-Perturbed Self-Distillation (FPD) 方法,通过扰动 FFN 激活以构造低偏移目标,在 S-MLLMUn Bench 上展示了更优的遗忘-效用权衡。
来源:arXiv · NLP · arxiv.org