arXiv · ML· Jiyi Wang, Chenxiao Yang, Yujia Zhao, Jingzhao Zhang, Lu Mi·· 1 天前AI 评分36
EISep RNN：将 Dale 原理作为循环神经网络的归纳偏置
Leveraging Dale's Principle as an Inductive Bias in Recurrent Neural Networks
AI 导读
提出 EISep RNN 架构，通过可学习的兴奋-抑制分离实现 Dale 原理，解决了以往约束导致的训练不稳定或性能下降问题。 在包含多任务学习、持续学习和强化学习的多种场景中，EISep RNN 展现出比原生 RNN 及旧版 Dale 约束模型更稳定的训练动态、更具稀疏性和模块化的连接特性。 该研究确立了 Dale 原理作为循环神经网络中具有生物学基础且计算有效的归纳偏置地位。
来源：arXiv · ML · arxiv.org