arXiv · ML· Nabeelah Faumi, Deshan Sumanathilaka·· 5 小时前AI 评分33
GPT-2 权重剪枝在 Transformer 语言模型中的机制失效模式
Mechanistic Failure Modes of Weight Pruning in Transformer Language Models
AI 导读
基于 GPT-2 的剪枝研究表明，magnitude 神经元剪枝在 30% 稀疏度下会导致 Name Mover 贡献符号反转，使模型准确率降至 17.7%。 该失效在 perplexity 指标上被误判为损伤较轻（74.6 vs 140.1），显示输出指标无法捕捉结构性机制损伤，需引入电路级因果分析作为补充评估。
来源：arXiv · ML · arxiv.org