arXiv · ML· Hoang-Chau Luong, Lingwei Chen·· 8 小时前AI 评分21
SHIFT 方法通过 Shrink-and-Heal Lookahead 实现大模型机器遗忘
Unlearning by Extrapolating a Shrink-and-Heal Lookahead
AI 导读
SHIFT 方法通过 Shrink-and-Heal Lookahead 生成蒸馏目标，在机器遗忘任务中实现最优性能。 在 OpenUnlearning 协议下，SHIFT 取得最高综合得分，较次优方法对 oracle 模型对齐度提升 3.7 倍。 在 MUSE 基准上保留最多知识，且在较大优化预算下能避免基线方法过冲。
来源：arXiv · ML · arxiv.org