arXiv · AI· Adam Elimadi·· 7 天前AI 评分23
GPT-2 Small 中表征简约性与电路规模的阈值依赖解离:对抗训练的受控测试
Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training
AI 导读
基于 GPT-2 Small 的受控测试表明,表征简约性与电路规模呈阈值依赖解离:低忠实度下标准模型电路更小或持平,高忠实度(90%、95%)下对抗训练模型电路显著更小。 实验在七点对抗强度扫描及第二语料库上验证了该结论,且对抗模型具备更高的稀疏自编码器可分解性并调用更少的 SAE 特征。
来源:arXiv · AI · arxiv.org