跳到正文
arXiv · ML· Dennis Rochau·· 21 小时前AI 评分26

状态空间模型对角等价性:特征化、检索秩与选择性扩展

Diagonal Equivalence in State Space Models: Characterization, Retrieval Rank, and Selective Extensions

AI 导读

论文分类了具有线性转移的实数与复数状态空间模型(SSM),通过可交换转移族特征化对角等价性。 基于 Mamba 3 的 MIMO 结构及 SSD-MIMO 路由,结合 Mamba 1-3 的衰减与旋转机制,在 H100 GPU 上改进融合内核训练时间,小模型多 token 召回优于 Mamba 1-3。

来源:arXiv · ML · arxiv.org