arXiv · ML· Nikola Zubi\'c, Qian Li, Yuyi Wang, Davide Scaramuzza·· 16 小时前AI 评分30
多层状态空间模型（SSMs）的表达能力与局限性分析
On the Expressive Power and Limitations of Multi-Layer SSMs
AI 导读
研究证实 L 层 SSM 解决 K 函数组合需满足 d²p=Ω(N/L³)，而 K 层通用 SSM 仅需 d=1 和 p=Θ(log N) 即可精确解决。 论文区分了输入后推理与输入交织推理，后者允许通过流式内存实现双向模拟，使得宽度与精度在特定条件下变得可互换。 该结果建立了该形式问题族的最坏情况深度层级，为理解 SSM 在序列信息传播中的通信下界提供了理论依据。
来源：arXiv · ML · arxiv.org