跳到正文
arXiv · AI· Wutong Xu, Yun Qu, Haiyan Feng, Qi Wang, Xiangyang Ji·· 4 小时前AI 评分23

LLM 强化知识解学习:基于知识关联的遗忘方法

What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations

AI 导读

研究提出知识关联强化解学习(KARU),通过强化学习框架精准抑制 LLM 特定知识关联,实现细粒度遗忘同时保持通用能力。 方法包含 token 级奖励构造、分布级正则化及近端感知保留采样,实验表明在保持保留性能与通用效用相当的前提下,持续优于现有基线模型的遗忘效果。

来源:arXiv · AI · arxiv.org