arXiv · ML· Omin Kwon, JoongWon Shin, Minseo Kim, Kurt Keutzer, Sehoon Kim, Jae W. Lee·· 2026-10-07AI 评分22
SketchSSM 提出紧凑 Sketch 方法,降低线性注意力模型状态访问流量
SketchSSM: Write to the Full State, Read from a Compact Sketch
AI 导读
SketchSSM 保留全状态更新,通过离线固定的基向量近似读取操作,平均 Sketch 秩为 8 时将状态访问流量降低约 10 倍。在 Mamba-2、GDN 和 KDA 模型上,该方法在 NVIDIA B300 上实现 5.02 倍至 7.30 倍的线性注意力内核加速,且精度匹配 FP32 全状态基线。
来源:arXiv · ML · arxiv.org