GPT-2 蒸馏机制可解释性研究
热点事件持续更新
GPT-2 蒸馏机制可解释性研究
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Nabeelah Faumi 于 2026 年 10 月 28 日发布论文，探讨 GPT-2 向 DistilGPT-2 蒸馏过程中的机制可解释性。该研究采用线性 CKA、logit lens 及激活打补丁等方法，对比原版与六层学生模型的差异。结果显示，IOI 电路在压缩后发生机制性崩溃，准确率由 94.8% 降至 35.2%。相反，GT 电路通过层重映射保留机制，性能仍达 87.7%。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
GPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：哪些电路在压缩后幸存报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · NLPGPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：哪些电路在压缩后幸存
GPT-2 蒸馏至 DistilGPT-2 后，IOI 电路发生机制性崩溃，准确率从 94.8% 降至 35.2%；而 GT 电路通过层重映射保留了 87.7% 性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。