arXiv · NLP· Jipeng Li, Pramod Khargonekar, Yanning Shen·· 5 小时前AI 评分38
Transformer 中证据效应的因果定位
Causal Localization of Evidence Effects in Transformers
AI 导读
提出受控证据聚合（CEA）与平衡效用因果选择（BUC）方法，定位影响 Transformer 决策的注意力头。 在 Pythia-410M 模型中，消融 1-12 个头可移除 65.5-91.6% 的计数效应；在自然语言任务中，消融 8 个头导致准确率下降 8.2 个百分点。 研究证实受控符号探针能识别出对自然语言决策具有因果影响的紧凑注意力头集合。
来源：arXiv · NLP · arxiv.org