MAEP框架通过模态感知专家剪枝降低多模态大语言模型显存占用
热点事件持续更新
MAEP框架通过模态感知专家剪枝降低多模态大语言模型显存占用
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
arXiv最新发布的多模态大语言模型优化研究提出免训练框架MAEP，该框架针对MoE架构设计，旨在通过模态感知的专家剪枝技术解决多模态模型的显存占用问题。 MAEP利用低注意力视觉token作为稳定的剪枝信号，并引入Delta-H输出指标衡量移除专家后MoE输出的变化。实验数据显示，该框架将约58 GB模型的BF16专家权重占用减少约27 GB，降幅达47%，使模型适配单块40 GB GPU。 在多模态基准测试中，MAEP表现优于模态无关基线，同时在纯文本任务中保持竞争力，证明了其在降低显存需求的同时有效维持了模型性能。
AI 根据报道生成 · 7 小时前更新
最新进展11月5日 13:00
MAEP：面向 MoE 多模态大语言模型的模态感知专家剪枝框架报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv · NLPMAEP：面向 MoE 多模态大语言模型的模态感知专家剪枝框架
免训练框架 MAEP 通过模态感知专家剪枝，将约 58 GB 模型的 BF16 专家权重占用减少约 27 GB（约 47% 内存），使其适配单块 40 GB GPU。 该框架引入 Delta-H 输出指标衡量移除专家后的 MoE 输出变化，并利用低注意力视觉 token 作为稳定的剪枝信号。 在多数多模态基准上 MAEP 优于模态无关基线，同时在纯文本任务中保持竞争力。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 911月5日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:0018:0019:0020:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。