跳到正文
arXiv · AI· Yanzhen Zhou, Zhengyu Han, Qunyou Liu, Zheyu Yan, Weihong Xu, Cheng Zhuo·· 24 天前AI 评分21

SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器

SPARTA: A Sparse Ternary LLM Accelerator with Adaptive Attention and Unified Datapath for Long-Context Edge Inference

AI 导读

研究者提出 SPARTA 稀疏三值 LLM 加速器,专为长上下文边缘推理设计,通过统一数据通路和自适应注意力引擎解决内存带宽瓶颈。 该系统在 1.58-bit 三值权重下,将 KV 缓存流量较全注意力减少 4.1-4.8 倍,较现有稀疏注意力方案减少 1.3-1.5 倍,支持预填充与解码阶段的异构稀疏性优化。

来源:arXiv · AI · arxiv.org