arXiv · NLP· Nabeelah Faumi, Deshan Sumanathilaka·· 5 小时前AI 评分34
GPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：哪些电路在压缩后幸存
What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2
AI 导读
GPT-2 蒸馏至 DistilGPT-2 后，IOI 电路发生机制性崩溃，准确率从 94.8% 降至 35.2%；而 GT 电路通过层重映射保留了 87.7% 性能。
来源：arXiv · NLP · arxiv.org