跳到正文
arXiv · AI· Jiawen Qi, Jiayu Liu, Chang Gao, Zhaochun Ren, Qinyu Chen·· 2026-10-12AI 评分25

DeltaLLM:面向边缘 LLM 的 Delta-Key 稀疏注意力框架

DeltaLLM: Delta-Key Sparse Attention for Edge LLMs

AI 导读

DeltaLLM 是一个免训练的 LLM 框架,通过算法、硬件和数据流协同设计加速边缘设备的 prefilling 阶段注意力计算。 它引入了基于 GQA 的 Delta-Key 重用机制和 VSSOS 算法,在 BitNet-b1.58-2B-4T 和 LLaMA3.2-1B-Instruct 上实现了最高 60% 的 Delta-Key 稀疏度,并显著降低了算力与存储开销。

来源:arXiv · AI · arxiv.org