arXiv · AI· Linliang Chen, Yan Zhong, Wang Kang, Sai Li, Ji Wu, Ji Liu·· 3 天前AI 评分24
GEAR^2 通过门控复用激活专家与残差块重建 MoE 剪枝功能
GEAR$^2$: Pruned Experts Live On through Gated Reuse of Activated Experts and a Missing-Mass Residual
AI 导读
GEAR^2 在 16B 至 106B 参数的 5 个 MoE LLM 上剪枝 25% 至 50% 专家,无训练重建功能。 利用门控复用激活专家输出,并引入超轻量残差块补足无法表达的内容。 在 9 项零样本基准上超越基线最高 2.75 个百分点,剪枝率更高时优势显著。
来源:arXiv · AI · arxiv.org