跳到正文
arXiv · ML· Florent De Geeter, Gaspard Lambrechts, Damien Ernst, Guillaume Drion·· 21 天前AI 评分31

BMRU:结合多稳态记忆与并行扫描的可并行化记忆递归单元

Parallelizable memory recurrent units

AI 导读

论文提出记忆递归单元(MRU),利用多稳态实现持久记忆,并解决状态空间模型(SSM)缺乏该能力的问题。 核心实现为双稳态记忆递归单元(BMRU),兼容并行扫描算法,在长程依赖任务中表现良好,可与 SSM 结合构建混合网络。

来源:arXiv · ML · arxiv.org