arXiv · NLP· Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Sch\"utze·· 17 小时前AI 评分33
Output Vector Editing 缓解大语言模型记忆化
Output Vector Editing for Memorization Mitigation in Large Language Models
AI 导读
研究人员提出 Output Vector Editing (OVE) 方法，用于抑制大语言模型从给定前缀中复现训练文本，该方法无需梯度且推理阶段无额外干预。 OVE 采用两阶段定位 MLP 层与神经元，并结合全词汇最小二乘更新；其多变体 OVE-MA 可自适应选择延续位置，在 360M–7B 参数模型中评估恢复性与局部性。
来源：arXiv · NLP · arxiv.org