arXiv · NLP· Jingkai Guo, Ziyi Zhao, Chaitali Chakrabarti, Deliang Fan·· 16 小时前AI 评分28
CoLU 提出置信度加权逐层大模型遗忘算法
CoLU: Confidence-Weighted Layerwise Unlearning for Large Language Models
AI 导读
CoLU 通过更新单个 Transformer 层结合置信度加权正则化，在 TOFU 数据集六项设置及 MUSE 两项指标上全面超越 NPO、SimNPO 等 SOTA 方法。 配合 Brief Layer Screening 策略可减少 60.2% 至 79.7% 运行时间，平均 GPU 显存占用降低 77.4% 至 79.5%。 实现了大语言模型遗忘与保留平衡的高效能新基准。
来源：arXiv · NLP · arxiv.org