arXiv · NLP· Donggeun Kim·· 8 小时前AI 评分40
MAEP：面向 MoE 多模态大语言模型的模态感知专家剪枝框架
Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models
AI 导读
免训练框架 MAEP 通过模态感知专家剪枝，将约 58 GB 模型的 BF16 专家权重占用减少约 27 GB（约 47% 内存），使其适配单块 40 GB GPU。 该框架引入 Delta-H 输出指标衡量移除专家后的 MoE 输出变化，并利用低注意力视觉 token 作为稳定的剪枝信号。 在多数多模态基准上 MAEP 优于模态无关基线，同时在纯文本任务中保持竞争力。
来源：arXiv · NLP · arxiv.org