跳到正文
arXiv · ML· L\'eo Catteau, O. Duranthon, Lenka Zdeborov\'a·· 17 小时前AI 评分25

Attention 头专业化:样本复杂度中的相变

Attention Head Specialization: Phase Transitions in Sample Complexity

AI 导读

研究发现 BERT 中句法关系 Attention 头随数据集规模增加而涌现。 高维多头注意力模型证实,头专业化是样本复杂度中的真实相变,表现为测试误差的非解析性。 该机制区分了统计起源与动力学起源,揭示了简化偏差的统计形式。

来源:arXiv · ML · arxiv.org