跳到正文
arXiv · ML· Leo Dobson, Anton Ragni·· 13 小时前AI 评分29

循环神经网络中的时间秩

Temporal Rank in Recurrent Neural Networks

AI 导读

summary_zh: 研究识别出循环神经网络(RNNs)受限于秩约束隐藏状态动态导致的时间信息瓶颈,该限制独立于梯度稳定性。 作者引入结构化高维状态动态以保持时间可分离性,防止输入到状态雅可比矩阵饱和;在受控序列任务中模型学习迅速。

来源:arXiv · ML · arxiv.org