arXiv · ML· Hwiyeong Lee, Hyelim Lim, Ingyu Bang, Hoki Kim, Taeuk Kim·· 2026-10-07AI 评分21
研究揭示模型学习方式影响其遗忘效果
How Learning Governs Unlearning across the Memorization-Generalization Spectrum
AI 导读
论文指出模型训练中的泛化策略会加剧后续遗忘过程的保留集性能下降。 研究通过模块加法中的 grokking 机制区分了偏重记忆与泛化的模型,并在桶化模块加法中验证了这一单调趋势。 该关系在 LLM 的逐字与事实召回设置中也成立,提示需将学习动态纳入遗忘方法设计。
来源:arXiv · ML · arxiv.org