arXiv · NLP· Richard Zhe Wang·· 10 天前AI 评分30
Transformer 的通信图谱:基于权重几何的全局耦合分析
The Communication Map of a Transformer
AI 导读
论文提出 Transformer 通信图谱,通过权重几何映射所有潜在通信通道。分析显示 70-89% 的注意力头对呈现显著非随机耦合特征。 研究恢复了归纳电路结构,并通过消融二维残差流子空间,在高达 Pythia-6.9B 的六个模型中使归纳功能失效。 作者开源了通信图谱、统计工具及干预套件,支持模型机制可解释性研究。
来源:arXiv · NLP · arxiv.org