跳到正文
arXiv · ML· Dongkeun Lee, Wonjun Lee·· 12 小时前AI 评分26

MoMoVL:面向端侧稀疏激活视觉-语言模型的模态感知自适应压缩

MoMoVL: Modality-Aware Adaptive Compression for On-Device Sparsely-Activated Vision-Language Models

AI 导读

针对 MoE 视觉-语言模型(VLM)在端侧部署面临的内存挑战,MoMoVL 提出了模态感知自适应压缩框架,将推理资源需求控制在端侧预算内。 该框架联合利用专家激活特征与模态量化敏感度指导位宽分配,相比均匀精度基线减少内存占用最高达 15.44%,且精度下降温和。 MoMoVL 在精度-压缩权衡上优于最先进混合精度基线,代码和数据已公开,论文被 WSDM 2027 接收。

来源:arXiv · ML · arxiv.org