arXiv · ML· Basavaraj R M, Aryan Bharat Kumar·· 9 天前AI 评分36
注意力手术中的 Sanity Checks:针对表示驱动设计的 Null Models 与 Matched Interventions
Sanity Checks for Attention Surgery: Null Models and Matched Interventions for Representation-Motivated Design
AI 导读
论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。
来源:arXiv · ML · arxiv.org