跳到正文
热点事件持续更新

M^2RNN架构发布:实现长上下文建模突破

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月19日,arXiv发布研究成果,Mayank Mishra等提出M^2RNN非线性RNN架构。该架构通过引入矩阵值隐状态与非线性状态转移,解决了长度泛化难题,实现了未见序列长度的完美状态追踪。 在实验性能方面,该架构于7B MoE混合模型中展现出显著优势。其困惑度较Gated DeltaNet低0.4-0.5,且在长上下文基准测试LongBench中提升达8分,验证了其在可扩展语言建模领域的应用价值。

AI 根据报道生成 · 5 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · ML
    M^2RNN:用于可扩展语言建模的矩阵值状态非线性 RNN

    M²RNN 引入矩阵值隐状态与非线性状态转移,实现未见序列长度的完美状态追踪泛化。在 7B MoE 混合架构中,其 perplexity 较 Gated DeltaNet 低 0.4-0.5,长上下文 LongBench 提升达 8 分。

本事件热度走势

可比范围当前
8
可比范围峰值
910月19日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。