arXiv · AI· Yanzhen Zhou, Zhengyu Han, Qunyou Liu, Zheyu Yan, Weihong Xu, Cheng Zhuo·· 24 天前AI 评分21
SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器
SPARTA: A Sparse Ternary LLM Accelerator with Adaptive Attention and Unified Datapath for Long-Context Edge Inference
AI 导读
研究者提出 SPARTA 稀疏三值 LLM 加速器,专为长上下文边缘推理设计,通过统一数据通路和自适应注意力引擎解决内存带宽瓶颈。 该系统在 1.58-bit 三值权重下,将 KV 缓存流量较全注意力减少 4.1-4.8 倍,较现有稀疏注意力方案减少 1.3-1.5 倍,支持预填充与解码阶段的异构稀疏性优化。
来源:arXiv · AI · arxiv.org