跳到正文
arXiv · ML· Advik Raj Basani, Anshuman Chhabra·· 11 天前AI 评分29

揭示LLM知识编辑中知识删除的假象

Exposing the Illusion of Erasure in Knowledge Editing for LLMs

AI 导读

研究揭示大语言模型(LLM)知识编辑(KE)存在缺陷,被编辑的知识往往未被完全删除,并在多种模型架构中持续显现。 机制分析表明,低秩更新并未覆盖原有知识,而是将其重分配到表示空间,且这些方法仅作为目标抑制机制降低事实表达概率,而非从模型中移除知识。 该工作证明了KE算法固有可绕过性,指出了编辑知识位于对扰动高度敏感的狭窄区域,从而推动对LLM后处理更新部署方式的重新评估。

来源:arXiv · ML · arxiv.org