arXiv · ML· Guodong Zheng, Yan Sun, Peng Wang, Enneng Yang, Jiafei Lyu, Xiaochun Cao, Dacheng Tao, Li Shen·· 6 小时前AI 评分22
Fine-Grained Analysis of Catastrophic Forgetting in Continual Learning via Algorithmic Stability
Fine-Grained Analysis of Catastrophic Forgetting in Continual Learning via Algorithmic Stability
AI 导读
该研究建立了一种无需预设模型架构的算法稳定性框架，用于分析SGD下预期群体遗忘。 通过将遗忘分解为任务内与跨任务泛化差距及经验遗忘，并推导了不同学习率调度策略下的理论边界。 实验在Split CIFAR-100和Split MiniImageNet数据集上验证了理论发现的实证影响。
来源：arXiv · ML · arxiv.org