GPT-2权重剪枝研究揭示机制失效新风险

Nabeelah Faumi等人发表针对Transformer语言模型权重剪枝的研究论文。实验基于GPT-2，通过双重要性准则、双组件类型及三档稀疏度的组合设计，系统评估了剪枝对模型内部机制的影响。 研究发现，在30%稀疏度下采用magnitude准则剪枝MLP神经元时，会引发Name Mover贡献符号反转，导致模型准确率骤降至17.7%。这一机制层面的结构性损伤，在perplexity指标上却被误判为损伤较轻，显示出输出指标与内部因果机制间的评估偏差。 该结果强调，仅依赖perplexity等传统指标无法捕捉剪枝导致的深层电路失效。研究建议引入电路级因果分析作为补充评估手段，以确保权重剪枝策略在结构安全与性能保留上达成平衡。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。