跳到正文
Hugging Face Blog·· 10 天前AI 评分38

HOPE:面向 MoE 语言模型的高阶专家剪枝方法

Your Experts Have Partners. There's HOPE for Keeping Them Together

AI 导读

Hugging Face 提出 HOPE 方法,通过计算专家间高阶交互实现 MoE 模型的精准剪枝。 作为二阶方法,HOPE 在 50% 剪枝率下表现最优,相比次优方法在 agentic coding 任务上提升最高达 6.1%。 该方法无需训练且兼容量化,能有效解决传统一阶剪枝忽视专家协同集群导致的性能衰减问题。

来源:Hugging Face Blog · huggingface.co