arXiv · ML· Ze-Wei Liou, Harris Nover, Amey Naik, Andrii Skliar, Igor Shovkun, Ido Shahaf, Tri Dao·· 2026-10-12AI 评分33
ReplaySSM:通过缓存 SSM 输入而非状态优化混合模型
ReplaySSM: Cache SSM Inputs, Not State
AI 导读
研究者提出 ReplaySSM 技术,通过展开递归将状态表示为检查点和近期 SSM 输入缓冲区,解决状态读写瓶颈。 该技术在 vLLM 中实现了 Mamba-2 和 Gated DeltaNet,服务批量 256 时解码加速 1.20-1.47 倍,吞吐量为推测解码的 1.8 倍。 分离状态精度降低了输出 KL 散度和精度损失,避免了低精度舍入误差进入后续更新。
来源:arXiv · ML · arxiv.org