arXiv · ML· Xiuyuan Wang, Weiming Liu, Zongxin Yang, Fan Wang, Liemiao Jin, Rubin Qin, Wei Chen, Bin Shi, Chaochao Chen, Xiaolin Zheng·· 4 天前AI 评分20
UUE 框架:基于正交零空间投影的轻量级 LLM 遗忘方法
Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
AI 导读
summary_zh: UUE 框架将知识遗忘重构为可控模型编辑,通过轻量级插件式适配器实现高效部署,在 TOFU 和 WMDP 基准上显著优于现有方法。 该方法将参数更新投影至保留知识的正交左零空间,利用凸非靶向目标推导闭式解析解,在不修改冻结主干的前提下推升遗忘集嵌入至对极点。
来源:arXiv · ML · arxiv.org