UC-RAMP：一种针对混合专家模型的层级微型专家剪枝框架

由 Zukang Xu 等人提出了 UC-RAMP，这是一种面向混合专家（MoE）模型的层级微型专家后训练剪枝框架。该框架的核心创新在于通过双阶段设计，显式地将“专家容量分配”与“通道选择”这两个决策过程分离开来。在2026年10月20日发布的 arXiv 预印本中，研究者报告了该框架的初步性能数据。该框架在多种实验设置下均表现出色。具体而言，在6种测试配置中的5种中，UC-RAMP 在 25% 和 50% 两种剪枝率下，都取得了最高的十项任务平均准确率。特别是在 50% 剪枝率下，该框架在三款不同的模型上，分别比当前最强的基线方法高出 8.19、3.96 和 6.14 个百分点。除了精度提升，该框架在推理效率上也有显著优势。在单张 A100 GPU 进行 25% 剪枝部署的场景中，UC-RAMP 能够将模型的首字响应时间（TTFT）降低 19.7% 至 23.9%，并将每个输出 token 的生成时间（TPOT）降低 20.2% 至 22.3%。

AI 根据报道生成 · 3 小时前更新