arXiv · AI· Arjun Pillai, Christian Hoang, Anjelo Jann Laroza·· 5 小时前AI 评分28
首词广播机制：Transformer 语言身份起源与分布鲁棒性
First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers
AI 导读
提出语言身份注意力头消融法（LIHA），用于定位 Transformer 中维持输出语言的关键注意力头，并验证其跨语言迁移性。 GPT-2 中 L6H1 等“首词广播头”对语言切换率影响显著（切换率 0.32，高出均值 3.23σ），而 Qwen2.5-1.5B-Instruct 的因果影响集中于第 0 层（L0H5 切换率 0.224）。
来源：arXiv · AI · arxiv.org