arXiv · NLP· Dongyao Chen, Jiayun Lei, Zhiyuan Ji, Zhiying Deng, Wei Liu, Xiaobo Sun·· 9 天前AI 评分22
LLM 知识编辑中源头容量分配:稀疏目标优化方法
Capacity Allocation at the Source: Sparse Target Optimization for LLM Knowledge Editing
AI 导读
针对大语言模型知识编辑中目标隐层状态构建影响容量分配的问题,提出一种基于 $\ell_1$ 正则化的稀疏目标优化方法。 该方法通过修剪知识向量的非必要“触须”分量,仅保留核心部分,降低单次编辑对其他知识的干扰。 实验验证了该方法在多个 LLM 和基准数据集上的有效性,并已开源代码供使用。
来源:arXiv · NLP · arxiv.org