arXiv · AI· Zukang Xu, Xinpei Gao, Xing Hu, Zhe Jiang, Dawei Yang·· 12 小时前AI 评分33
UC-RAMP：面向混合专家模型的层级微型专家剪枝框架
Fine-Grained Units, Flat Decisions: Hierarchical Micro-Expert Pruning for Mixture-of-Experts Models
AI 导读
UC-RAMP通过分离专家容量分配与通道选择，在25%和50%剪枝率下于6种设置中的5种取得最高十任务平均准确率。 在50%剪枝下，该框架在三款模型上分别以8.19、3.96和6.14个百分点的优势超越最强基线。 在单张A100显卡25%剪枝部署中，UC-RAMP使首token时间减少19.7–23.9%，每输出token时间减少20.2–22.3%。
来源：arXiv · AI · arxiv.org