跳到正文
arXiv · AI· Jonghyun Han, Younghoon Song, Jongyoul Park·· 2026-10-08AI 评分26

大语言模型灾难性遗忘定位在输出嵌入层,单行优化器调整可大幅缓解

A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks

AI 导读

研究发现 LLM 持续训练中的灾难性遗忘集中于新语料中罕见 token 的输出嵌入层。 通过提高 Adam 优化器输出投影层的 epsilon,在 160M 至 12B 参数模型中消除了 39.4% 到 67.9% 的遗忘。 该干预可与 replay 结合使用,无需逐模型调参即可保护目标学习,且必须在训练期间实施。

来源:arXiv · AI · arxiv.org