arXiv · ML· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 14 天前AI 评分21
TriAttention: 统一稀疏混合精度注意力用于长上下文 LLM 推理
TriAttention: Unified Sparse Mixed-Precision Attention for Long-Context LLM Inference
AI 导读
TriAttention 将 Query-Key 瓦片分配至跳过、4-bit 或 8-bit 计算,长上下文生成速度提升最高 7.88 倍。 该方法通过两条对角距离边界编码计算区域,保持策略存储独立于上下文长度,并在解码阶段复用量化 Key-Value 缓存。 实验显示其在通用及长上下文任务上保持与原模型相当的质量。
来源:arXiv · ML · arxiv.org