arXiv · NLP· Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim·· 6 小时前AI 评分31
CompactAttention 通过 Block-Union KV 选择加速分块预填充
CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection
AI 导读
CompactAttention 是一种基于 Block-Union KV 选择的分块预填充注意力机制，在 LLaMA-3.1-8B-Instruct 上 128K 上下文长度下实现最高 2.79 倍注意力加速。
来源：arXiv · NLP · arxiv.org