跳到正文
arXiv · ML· Kevin L. McKee·· 10 天前AI 评分30

受皮层神经集启发,FTN 实现持续学习与知识转移

Autonomous Continual Learning and Knowledge Transfer via Cortex-Inspired Neural Assemblies

AI 导读

针对人工神经网络“灾难性遗忘”问题,提出受哺乳动物新皮层启发的功能任务网络(FTN)方法。 FTN 构建为分布式随机混合专家模型,通过推理时计算稀疏二值路由掩码及掩码重叠过滤回放机制,形成重叠且部分训练的子网络基底。 在块序连续学习与知识转移任务中,FTN 的知识保留率接近互斥掩码隔离水平,并达到了匹配架构比较器中最低的更新前抢先损失。

来源:arXiv · ML · arxiv.org