arXiv · AI· Liying Wang, Simone Magistri, Joost van de Weijer·· 5 小时前AI 评分25
无重放持续学习中的 Fisher-Shaped EWC 算法
Beyond Parameter Protection: Fisher-Shaped EWC for Replay-Free Continual Learning
AI 导读
提出 Fisher-Shaped EWC（FS-EWC）方法，通过在预定邻域内最小化最坏经验 FIM 迹来形成对有限参数位移不敏感的未来保留解，并在任务完成时通过基于轨迹的模型合并构建保留解。实验显示 FS-EWC 在多个基准上优于 EWC，具有更优的稳定-可塑性平衡和参数漂移容忍度。 该研究表明有效的知识保留需同时实现未来导向的解构建与已获知识保护。
来源：arXiv · AI · arxiv.org