arXiv · AI· Yi Chen, Hanna Hsieh, Shuhong Liu, Chuanbo Hua, Zihan Ma, Kun Wang, Joo-Young Kim·· 17 天前AI 评分38
FRAG 预测 LLM 重学习鲁棒性:遗忘-保留对齐缺口比距离更有效
Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness
AI 导读
论文提出无训练预测器 Forget-Retain Alignment Gap (FRAG),通过评估更新中遗忘关键权重与保留关键权重的对齐程度,比全局权重位移更可靠地预测 LLM 机器遗忘的鲁棒性。 研究基于遗忘关键、保留友好的原则,提出 Forget-Retain Pruning (FRP) 技术以增强模型抗重学习能力,结果表明权重选择性比单纯距离更能解释鲁棒性。
来源:arXiv · AI · arxiv.org