arXiv · NLP· Yizhou Yang, Jiahong Fu, Zhiwu Wang, Kailong Fan, Haokun Lin, Yichen Wu, Zhenan Sun, Renzhen Wang, Deyu Meng·· 4 小时前AI 评分30
FisherEdit:基于 Fisher 信息的 LLM 知识编辑方法
FisherEdit: Fisher Information Guided Knowledge Editing for Large Language Models
AI 导读
针对顺序知识编辑导致 LLM 通用能力退化问题,研究提出 FisherEdit 方法。 该基于 Fisher 几何理论,在参数空间实施重要性感知正则化,替代 AlphaEdit 等方法中的粗粒度激活空间投影,并采用高效逐行闭式解。
来源:arXiv · NLP · arxiv.org