arXiv · NLP· Zhenxu Tian, Kebin Liu, Zhengwu Yang, Yi Su, Qingqing Dang, Yanlin Sha, Kaipeng Deng, Dianhai Yu, Yanjun Ma, Juntao Li, Min Zhang·· 16 小时前AI 评分28
Prism Attention：面向高效 LLM 推理的提案精化索引共享机制
Prism Attention: Proposal-Refined Index Sharing Mechanism for Efficient LLMs Inference
AI 导读
Prism Attention 提出一种提案精化的稀疏注意力框架，解决了跨层索引静态复用导致的注意力损失问题。该机制采用由粗到精的策略，在 128K 上下文长度下相比 FlashAttention 实现了 3.4 倍的端到端解码加速。
来源：arXiv · NLP · arxiv.org