跳到正文
arXiv · NLP· Yizhou Yang, Jiahong Fu, Zhiwu Wang, Kailong Fan, Haokun Lin, Yichen Wu, Zhenan Sun, Renzhen Wang, Deyu Meng·· 4 小时前AI 评分30

FisherEdit:基于 Fisher 信息的 LLM 知识编辑方法

FisherEdit: Fisher Information Guided Knowledge Editing for Large Language Models

AI 导读

针对顺序知识编辑导致 LLM 通用能力退化问题,研究提出 FisherEdit 方法。 该基于 Fisher 几何理论,在参数空间实施重要性感知正则化,替代 AlphaEdit 等方法中的粗粒度激活空间投影,并采用高效逐行闭式解。

来源:arXiv · NLP · arxiv.org