arXiv发布注意力机制与过平滑研究论文

Peter Súkeník等人于2026年11月3日发布论文（v2），研究了Sink和对角线模式在注意力开关及防止过平滑中的作用。论文证明Sink与硬注意力开关等价，显示在嵌入对齐条件下，Sink能有效防止过平滑，并解释了预训练Transformer中Sink优于对角线模式的原因。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。