跳到正文
arXiv · NLP· Sung Il Choi, Junhao Cai, Dohun Kim, Changhee Joo·· 10 天前AI 评分21

谱系遗忘:保持 Transformer 结构的 LLM 更新方法

Spectral Unlearning: Transformer Structure-Preserving Updates for Language Models

AI 导读

提出谱系遗忘(spectral unlearning)框架,结合标准遗忘目标与矩阵结构优化,将 Transformer 权重更新转化为归一化输入输出下的最速下降方向。 该方法在记忆、隐私和效用三个维度上进行评估,其结果通过调和平均数汇总,并在这些互补轴上持续优于广泛的基线方法。 已被 NeurIPS 2026 接收,代码已公开,显著缩小了与保留训练参考模型的差距。

来源:arXiv · NLP · arxiv.org