跳到正文
arXiv · ML· Vedant Palit, Florent Draye, Nicolas Zucchet, Zhijing Jin, Bernhard Sch\"olkopf·· 2026-10-07AI 评分35

假性遗忘并非总是灾难性:解析语言模型微调中遗忘机制

When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting

AI 导读

summary_zh: 语言模型微调中常出现的假性遗忘现象表明,模型看似丢失的旧知识实际仍存在并可恢复,且随着新事实训练持续,遗忘甚至会自我撤销。 该机制源于带有共享结构的键、集中的新值以及网络归一化三要素。

来源:arXiv · ML · arxiv.org