跳到正文
arXiv · ML· T\=ikun \^Ong, Georg B\"okman·· 2026-10-16AI 评分25

多头自注意力中强制数据对称性的固有权衡

Inherent Trade-offs when Enforcing Correct Data Symmetries in Multi-head Self-attention

AI 导读

完整刻画了等变多头自注意力(MHSA):若对对称群 G 等变,则 G 仅能通过置换 head-clusters 作用。 固定架构若以多项式参数化实现精确等变,必然导致表达力损失;8 头在 D4 群下存在 Ω(C^64) 个分量。 实验表明,当注意力层被压力变为等变时,预测的 head-cluster 结构会自然出现。

来源:arXiv · ML · arxiv.org