跳到正文
arXiv · AI· Junjie Cao, Fengping Tian, Wenjie Zhou, Xuanfan Ni, Chenyang Lyu, Siyou Liu, Longyue Wang, Weihua Luo·· 4 小时前AI 评分25

PW-Pruning:语音中心全模态模型的相位感知专家剪枝

PW-Pruning: Phase-Aware Expert Selection for Speech-Centric Omni-Modal Models

AI 导读

PW-Pruning 为语音中心全模态模型提出了相位感知的专家剪枝方法,通过构建声学前置与文本生成阶段独立的加权核,选出单一静态专家库。 该方法在 Qwen3-Omni 上保留每层 32/128 个专家,经微调后 MMAU-mini 和 MMSU 准确率较池化选择分别提升 3.20 和 4.38 个百分点。

来源:arXiv · AI · arxiv.org