arXiv · ML· Yao Fu, Jiahan Chang, Yueying Li, Ritchie Zhao, Bryce Long, Mohammad Mahdi Kamani, Samkit Jain, Rahul Raman, Tara Safavi, Shreya Gupta, Parsa Ashrafi Fashi, Minseok Lee, Julien Demouth, Bita Darvish Rouhani·· 2026-10-08AI 评分22
SPIN: 稀疏注意力的影子预测索引器
SPIN: Shadow Predictive Indexer for Sparse Attention
AI 导读
SPIN通过基于历史的轻量预测识别关键KV块,避免每步解码时对整个KV缓存进行评分,从而减少索引器开销。在vLLM推理中,SPIN以30-40%的稀疏度保持任务质量,并可将吞吐量提升最高14.9%,中位数token间延迟降低最高13.2%。
来源:arXiv · ML · arxiv.org