arXiv · ML· Igor Dubinin, Antonio Orvieto, Felix Effenberger·· 10 天前AI 评分33
高阶与块对角线性循环网络的状态混合改进方法
Improved state mixing in higher-order and block diagonal linear recurrent networks
AI 导读
论文提出高阶线性循环单元(H-LRU)和块对角线性循环单元(BD-LRU),通过更丰富的状态混合提升线性循环网络表达力,同时保持效率。 架构采用选择性门控归一化确保训练稳定性,并在 PyTorch 和 Triton 中实现块对角并行扫描,吞吐量可与对角线性循环网络竞争。 在合成序列建模和语言建模任务中验证了改进的有效性,为解决线性序列模型效率与表达力之间的差距提供了实用路径。
来源:arXiv · ML · arxiv.org