arXiv · ML· Kevin Kuo, Amrith Setlur, Kartik Srinivas, Aditi Raghunathan, Virginia Smith·· 6 小时前AI 评分30
SIFT-Masks 实现基于模型合并的大规模精确遗忘
Exact Unlearning of Finetuning Data via Model Merging at Scale
AI 导读
提出 SIFT-Masks 精确遗忘方法，解决近似遗忘易受攻击及标准模型合并效用受损问题。 在合并最多 500 个模型的四种设置中，SIFT-Masks 精度提升 5-80%，精确遗忘计算量降低 250 倍。 通过局部掩码恢复任务性能，并约束微调对齐全局符号向量。
来源：arXiv · ML · arxiv.org