跳到正文
arXiv · NLP· Richard Zhe Wang·· 10 天前AI 评分30

Transformer 的通信图谱:基于权重几何的全局耦合分析

The Communication Map of a Transformer

AI 导读

论文提出 Transformer 通信图谱,通过权重几何映射所有潜在通信通道。分析显示 70-89% 的注意力头对呈现显著非随机耦合特征。 研究恢复了归纳电路结构,并通过消融二维残差流子空间,在高达 Pythia-6.9B 的六个模型中使归纳功能失效。 作者开源了通信图谱、统计工具及干预套件,支持模型机制可解释性研究。

来源:arXiv · NLP · arxiv.org