arXiv · AI· Shang Tingyu, Cao Wenfei·· 5 小时前AI 评分21
Mamba-2 状态压缩新方法 Balanced State Subspaces 与 HARP 提出
Balanced State Subspaces for Mamba-2 State Compression
AI 导读
论文提出 Balanced State Subspaces (BSS) 方法,结合分层 HARP 分配,通过平衡截断将 Mamba-2 状态维度减半。 该方法基于完整可控性与可观测性 Gram 矩阵进行旋转,校准仅需单次前向传播,比 GHOST 快一个数量级。
来源:arXiv · AI · arxiv.org