跳到正文
arXiv · NLP· Siyuan Yan, Guo-Qing Jiang, Yuchen Zhang, Xiaoxing Ma, Ran Zhu, Chun Cao, Jingwei Xu·· 11 天前AI 评分28

Adamas:基于 Hadamard 稀疏注意力的高效长上下文推理方法

Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference

AI 导读

Adamas 提出一种结合 Hadamard 变换、分桶及 2-bit 压缩的 token 级稀疏注意力机制,用于高效长上下文推理。 该机制通过轻量级距离估计筛选 top-k 候选,在 Llama-3.1-8B-Instruct 有效上下文内保持近无损性能,32K 长度下实现 6.5 倍自注意力加速。 AIME 2024/2025 等长程推理基准测试中,其表现与完整注意力机制相当。

来源:arXiv · NLP · arxiv.org