arXiv · ML· Yanqi Yu, Pingwei Sun, Jianchao Tan, Tao Zhang, Yuchen Xie, Xunliang Cai, Yao Liu·· 2026-10-12AI 评分37
DASC:混合线性注意力推理中的衰减感知状态压缩
DASC: Decay-Aware State Compression for Hybrid Linear-Attention Serving
AI 导读
针对混合线性注意力架构中状态检查点带来的内存压力,论文提出衰减感知状态压缩(DASC)方法。 该方法基于模型权重推导保留视界,选择长期视界状态单元并打包,在Kimi-Linear上压缩KDA递归状态检查点2.63倍。 在固定内存预算下,该方法使首token时间平均降低42.6%,输入吞吐量提升68.4%。
来源:arXiv · ML · arxiv.org