CEA与BUC方法定位Transformer因果注意力头
热点事件持续更新
CEA与BUC方法定位Transformer因果注意力头
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
研究人员Jipeng Li等提出控制证据聚合（CEA）与平衡效用因果选择（BUC）方法，旨在定位影响Transformer决策的注意力头。该方法通过改变提示中两个符号的数量和顺序，测量冻结模型对答案词元偏好的变化。 实验在Pythia-410M模型上验证了该方法的有效性。结果显示，消融1至12个特定注意力头可移除65.5%至91.6%的计数效应。在自然语言任务中，消融8个头导致准确率下降8.2个百分点，证实了受控符号探针能识别出具有因果影响的紧凑注意力头集合。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
Transformer 中证据效应的因果定位报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · NLPTransformer 中证据效应的因果定位
提出受控证据聚合（CEA）与平衡效用因果选择（BUC）方法，定位影响 Transformer 决策的注意力头。 在 Pythia-410M 模型中，消融 1-12 个头可移除 65.5-91.6% 的计数效应；在自然语言任务中，消融 8 个头导致准确率下降 8.2 个百分点。 研究证实受控符号探针能识别出对自然语言决策具有因果影响的紧凑注意力头集合。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。