跳到正文
arXiv · NLP· Dongyao Chen, Jiayun Lei, Zhiyuan Ji, Zhiying Deng, Wei Liu, Xiaobo Sun·· 9 天前AI 评分22

LLM 知识编辑中源头容量分配:稀疏目标优化方法

Capacity Allocation at the Source: Sparse Target Optimization for LLM Knowledge Editing

AI 导读

针对大语言模型知识编辑中目标隐层状态构建影响容量分配的问题,提出一种基于 $\ell_1$ 正则化的稀疏目标优化方法。 该方法通过修剪知识向量的非必要“触须”分量,仅保留核心部分,降低单次编辑对其他知识的干扰。 实验验证了该方法在多个 LLM 和基准数据集上的有效性,并已开源代码供使用。

来源:arXiv · NLP · arxiv.org