arXiv · AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 24 天前AI 评分26
RAQ-MLA:面向多头潜在注意力缓存的角色感知量化方法
RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
AI 导读
RAQ-MLA 提出针对 Multi-Head Latent Attention (MLA) 缓存的角色感知量化方法,无需训练即可将完整 MLA 缓存量化至约 2.5 bits per element。
来源:arXiv · AI · arxiv.org