arXiv · ML· Chongyu Qu, Ritchie Zhao, Yufan He, Dong Yang, Zhengyi Lu, Junchao Zhu, Tianyuan Yao, Juming Xiong, Junlin Guo, Yanfan Zhu, Yuechen Yang, Daguang Xu, Bennett Allan Landman, Yucheng Tang, Yuankai Huo·· 14 天前AI 评分22
TACT-KV:用于压缩医疗 VLM 三维 KV 缓存的三轴余弦变换
TACT-KV: Tri-Axis Cosine Transform for Compressing Volumetric KV Caches in Medical VLMs
AI 导读
TACT-KV 提出无校准的三轴余弦变换方法,压缩 3D 医疗扫描产生的海量视觉 token KV 缓存,消除结构内存墙。 方法对 KV 缓存执行可分离 3D DCT,通过逆向注水法分配比特预算并量化,6 个医疗 VLM 和 2 个 3D CT 基准中 12 个组合里 11 个取得最低 1-bit 预测翻转率。 在单 GPU 上,相同 HBM 限制下将解码批处理规模提升最高 8 倍。
来源:arXiv · ML · arxiv.org