arXiv · ML· Leo Dobson, Anton Ragni·· 13 小时前AI 评分29
循环神经网络中的时间秩
Temporal Rank in Recurrent Neural Networks
AI 导读
summary_zh: 研究识别出循环神经网络(RNNs)受限于秩约束隐藏状态动态导致的时间信息瓶颈,该限制独立于梯度稳定性。 作者引入结构化高维状态动态以保持时间可分离性,防止输入到状态雅可比矩阵饱和;在受控序列任务中模型学习迅速。
来源:arXiv · ML · arxiv.org