跳到正文
arXiv · AI· Donglin Zhuang, Pragaash Ponnusamy, Xiaoxia Wu, Shuaiwen Leon Song, Zhongzhu Zhou·· 11 天前AI 评分45

FOSCAR:通过仿射折叠加速 2 位和 4 位 KV 缓存中的解码注意力

FOSCAR: Accelerating Decode Attention over 2- and 4-Bit KV Caches through Affine Folding

AI 导读

FOSCAR 通过仿射折叠技术显著降低量化 KV 缓存的解码注意力延迟,并在 H100 上实现最高 3.36 倍加速。 该算法将缩放和偏移运算减少两个数量级,H100 和 B200 上 INT2/INT4 内核分别达到 3.36 倍和 2.83 倍加速,较 TensorRT-LLM FP8 提升 2.03 倍和 1.71 倍。

来源:arXiv · AI · arxiv.org