跳到正文
arXiv · AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 24 天前AI 评分26

RAQ-MLA:面向多头潜在注意力缓存的角色感知量化方法

RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches

AI 导读

RAQ-MLA 提出针对 Multi-Head Latent Attention (MLA) 缓存的角色感知量化方法,无需训练即可将完整 MLA 缓存量化至约 2.5 bits per element。

来源:arXiv · AI · arxiv.org