arXiv · ML· Mayank Mishra, Shawn Tan, Ion Stoica, Joseph E. Gonzalez, Tri Dao·· 8 小时前AI 评分21
M^2RNN：用于可扩展语言建模的矩阵值状态非线性 RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
AI 导读
M²RNN 引入矩阵值隐状态与非线性状态转移，实现未见序列长度的完美状态追踪泛化。在 7B MoE 混合架构中，其 perplexity 较 Gated DeltaNet 低 0.4-0.5，长上下文 LongBench 提升达 8 分。
来源：arXiv · ML · arxiv.org