跳到正文
arXiv · ML· Ephraim Kofi Ayi Kwapong·· 3 天前AI 评分23

李括号作为无旧数据灾难性遗忘早期预警信号的有效性验证

Does Learning Order Explain Forgetting? The Lie Bracket as an Early-Warning Signal for Catastrophic Forgetting Without Old Data

AI 导读

经验证,任务A的遗忘量与两种训练顺序下A的损失差高度相关(Spearman rho 0.96-1.00)。 利用任务A结束时存储的梯度和前20个Hessian特征对构成的李括号,在任务B训练早期预测遗忘。任务增量场景下预测力达rho 0.70-0.81,优于EWC惩罚项;域增量及旧任务半学习场景下预测失效。

来源:arXiv · ML · arxiv.org