研究显示注意力机制需保留簇内干扰项

一项发布于arXiv的研究揭示了注意力机制中冗余上下文的作用机制。研究发现，仅仅减去对数簇大小仅能移除多发性，但会保留簇内极端分数，证明了该修正的局限性。 实验基于冻结句子嵌入，显示平均法在相关项为单例时有效。然而，当相关组包含多个匹配项时，平均法会丢弃有用证据。研究指出，在双水平广义随机能模型中，修正后的信号阈值不低于根号下2α1，而平均分数可将其降低。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。