arXiv · AI· Keuntae Kim, Yong Suk Choi·· 1 天前AI 评分29
Hippocampal consolidation without replay in fully fine-tuned networks
Hippocampal consolidation without replay in fully fine-tuned networks
AI 导读
全可训练网络在无重放、无教师模型情况下持续学习，通过海马体记忆索引输入几何结构防止灾难性遗忘。 该方法在四个架构家族和最大80亿参数的模型上有效，近重复类吸收率较对比方法降低数倍，TACRED基准比冻结基线高17.5分。 这是首个证明单一原则维持全网络跨任务学习的案例。
来源：arXiv · AI · arxiv.org