arXiv · AI· Sosuke Kobayashi, Shoichiro Yamaguchi, Seiya Tokui·· 13 小时前AI 评分24
免训练稀疏注意力方法：利用粗语义块加速 LLM 推理
Coarse Semantic Blocks for Efficient Training-Free Sparse Attention
AI 导读
提出一种免训练稀疏注意力方法，通过构建 prompt-specific key index 并聚类非连续 token 为粗语义块，同时加速 prefill 和 decoding。
来源：arXiv · AI · arxiv.org