arXiv · AI· Peter S\'uken\'ik, Cristina L\'opez Amado, Christoph H. Lampert, Marco Mondelli·· 5 小时前AI 评分23
Sink 与对角线模式作为注意力开关和过平滑防止机制的分析
Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention
AI 导读
论文研究 Sink 和对角线模式在注意力开关及防止过平滑中的作用，证明 Sink 与硬注意力开关（输出恒为 0）等价。 分析显示在嵌入对齐条件下，Sink 能有效防止过平滑，并解释了预训练 Transformer 中 Sink 优于对角线模式的原因。
来源：arXiv · AI · arxiv.org