arXiv · ML· Haolin Jiang, Weihang Li, Zhongzhu Zhou, Jinwen Pan, Santosh Pandey, Hang Liu·· 9 天前AI 评分21
SinkState:混合 LLM 服务中的在线 SVD 递归状态压缩技术
SinkState: On-the-Fly SVD of Recurrent States for Efficient Hybrid LLM Serving
AI 导读
SinkState 通过自适应低秩存储和局部 SVD 压缩线性注意力递归状态,在 4 个混合模型上将峰值内存降低至多 2.6 倍,解码速度提升 1.58 倍。 该方案针对 Mamba-2 和 Gated DeltaNet 层,利用“线性注意力沉”现象将状态限制在低维子空间,并在 CPU 异步处理剩余分量。
来源:arXiv · ML · arxiv.org