arXiv · NLP· Miguel P. Bento·· 10 天前AI 评分21
注意力几何不变量 ρ 仅凭权重预测 LLM 头部专业化
A Geometric Invariant of Attention Predicts Head Specialization from Weights Alone
AI 导读
研究人员推导出标量不变量 ρ,仅通过分析权重即可衡量 Transformer 头部与旋转位置编码的耦合能力,无需前向传播。 在 135M 至 7B 参数的四个无偏 RoPE 模型中,ρ 对归纳头(induction heads)的预测 Spearman 相关系数在 -0.55 至 -0.74 之间。
来源:arXiv · NLP · arxiv.org